Hugging FaceのローカルLLMモデル名「Q4_K_M」「A3B」の読み方と失敗しない選び方：Tech TIPS

[小林章彦，デジタルアドバンテージ]

連載目次

対象：LLM（Hugging Face）

Hugging FaceのローカルLLM、モデル名の読み方と失敗しない選び方
Hugging FaceでローカルLLMを探すと、「Qwen3.8-27B-Q4_K_M.gguf」のような英数字の羅列に戸惑うだろう。実はモデル名には、規模や世代、圧縮の度合い、ファイル形式といった情報が詰まっている。Qwenシリーズを例に、名前の読み方からPCのメモリに合ったモデルの選び方までを解説する。

　ChatGPTやClaudeなどのクラウド型生成AI（人工知能）サービスに加え、手元のPCでAIを直接動かせるローカルLLM（大規模言語モデル）が注目を集めている。

　ローカルLLMの大きなメリットは、入力データを外部に送信しないためプライバシーを確保できることと、API利用料を削減できることだ。

　ローカルLLMでは、「オープンウェイトモデル（学習済みの重みデータが公開されたモデル）」と呼ばれるLLMを利用する。「オープンウェイト」は、あくまで重みデータが公開されているという意味であり、学習データや学習コードまで公開された「オープンソース」とは異なる点に注意が必要だ。また、商用利用の可否や条件はモデルごとのライセンスによって異なるため、業務で使う前には必ず確認してほしい。

　こうしたオープンウェイトモデルが世界中から集まる場所が、「Hugging Face」である。AI分野の「GitHub」ともいえる存在で、 Meta Platforms、Google、Alibaba（Qwen）、DeepSeekなどの大手企業から個人開発者までが、最新のモデルを公開している。

　ただ、Hugging Faceでモデルを探すと、「Qwen3.6-35B-A3B-Q4_K_M.gguf」のような英数字の羅列に遭遇する。本Tech TIPSでは、ローカルLLMの定番として広く使われているAlibabaのQwenシリーズを例に、名前の意味から失敗しないモデルの選び方までを解説する。

モデル選びでここだけは押さえておきたい「3つの記号」

　モデル名の詳しい構造は後述するが、モデルを選んでダウンロードするだけなら、ファイル名にある次の4つの記号を読めれば十分だ。

モデル選びで押さえておきたい「3つの記号」

番号	記号例	意味	説明
（1）	「〇B」	モデルの大きさ	「9B」は、モデルの大きさ（パラメーター数）が約90億であることを表す。同じ世代なら、一般にこの数字が大きいほど賢くなる半面が、その分より多くのメモリが必要になる。まずは、自分のPCのメモリに収まる大きさを選ぶことが第一歩だ
（2）	「Q4_K_M」	圧縮の度合い	モデルをどれだけ圧縮（量子化）したかを表す記号である。「Q」の後ろの数字が小さいほどファイルは小さくなるが、回答の品質は下がる。迷ったら、品質とサイズのバランスがよく、事実上の標準となっている「Q4_K_M」を選べばよい
（3）	「gguf」	PCで動かすための形式	LM StudioやOllamaなど、個人のPCでLLMを動かすアプリで使えるファイル形式である。リポジトリ名やファイル名に「GGUF」と付いたものを選ぶ
押さえておきたいモデルの記号の意味

モデルサイズの早見表

　Q4_K_Mのファイルサイズは、おおよそ「B数×0.6GB」で計算できる。例えば「9B」なら約5.4GBだ。実際に動かすには、この値に1〜2GB程度を加えたメモリ容量が必要になる（長い文章を扱う場合はさらに多く必要になる）。

メモリ容量（GPUのVRAM）	選ぶモデルの大きさの目安
8GB	〜9B
12〜16GB	〜14B
24GB	〜35B級（27Bも該当）

メモリ容量とモデルの大きさの目安（Q4_K_Mの場合）
Macの場合、GPUが使える目安は統合メモリの7割前後なので、表の値より1段階多い統合メモリが必要になる。例えば27Bには32GB以上が目安となる。

　Qwen3.8-27Bを快適に動かすには、VRAMを24GB搭載するGPUか、32GB以上のメモリを搭載したMacが必要だ。これより少ないメモリのPCでは、Qwen3.5-9Bなどの小さいモデルを選ぶとよい。GPUを搭載していないPCでもメインメモリで動作するが、速度はかなり遅くなる点に注意してほしい。

名前に付いていたら注意したい表記

　気を付けたいのが、「Base」「abliterated」「uncensored」が付いたモデルだ。「Base」は会話用に調整されていない素材用のモデルのため、チャットでの利用には向かない。また「abliterated」「uncensored」は、第三者が安全対策を外した改変版なので、業務では使わない方が無難だ。

　さらに「35B-A3B」のように「A〇B」が付いたモデルは、前の数字（35B）で必要なメモリを見積もる必要がある。後ろの数字（3B）で判断するとメモリが足りず、モデルを読み込めなかったり、動作が極端に遅くなったりする。

モデル名を構成する5つの要素

　ここからは、モデル名の仕組みをさらに踏み込んで解説していく。

　Hugging Faceでは、各モデルが「組織名（アカウント名）/リポジトリ名」という形式で登録されている。リポジトリ名の付け方に厳密なルールはないが、「シリーズ名」「世代」「パラメーター数」「種類」「フォーマット」といった要素を組み合わせて名付けられていることが多い。

　ここでは、Alibabaが開発するQwenシリーズを例に見ていこう。Qwenは0.8Bの小型から2.4T級の大型までサイズの選択肢が幅広く、命名もシンプルなため、名前の読み方を学ぶ題材に適している。

モデル名の仕組み

（1）組織名・作成者

　組織名（作成者）は、モデルの開発元とは限らない。公式モデルを個人のPCで動かしやすい形式（GGUFなど）に変換・量子化して配布している有志や企業のアカウントの場合もある。例えばQwenの場合、開発元であるAlibabaのQwenチームの公式アカウント（Qwen）に限らず、bartowskiやunslothなど多くのアカウントがモデルを登録している。

　配布者によって、リポジトリ名の付け方が少しずつ異なる点にも留意してほしい。bartowskiの場合、以前は「bartowski/Qwen_Qwen3.6-27B-GGUF」のように元の組織名（Qwen_）を先頭に付けていたが、Qwen3.8では付けていない。同じ配布者でも、両方の形式が混在しているわけだ。

　公式以外のアカウントからダウンロードする場合は、ダウンロード数、モデルカード（説明ページ）の記載、元モデルへのリンクの有無などを確認し、信頼できる配布元を選ぶことが重要だ。

（2）シリーズ名

　「Qwen」がシリーズ名（ブランド名）に当たる。Metaの「Llama」、Googleの「Gemma」、DeepSeekの「DeepSeek」なども同様だ。

（3）世代（バージョン）

　同じシリーズであれば、バージョン番号が大きいほど新しい。Qwenの場合、Qwen2.5（2024年）、Qwen3（2025年）、Qwen3.5（2026年2月）、Qwen3.6（2026年4月）、Qwen3.8（2026年8月）と世代を重ねている（Qwen3.7はAPI提供のみで、オープンウェイトは公開されていない）。同じパラメーター数であれば、一般に新しい世代ほど性能が高く、古い世代の大きいモデルより新しい世代の小さいモデルの方が優秀な場合もある。

（4）パラメーター数

　「27B」は、パラメーター数が約270億であることを示す（B＝Billion＝10億）。サイズごとの目安は下表の通りだ。

パラメーター数	目安
〜9B程度	一般的な個人PCやノートPCで動かしやすいサイズ
27B〜35B級	ハイエンドGPUや大容量メモリを搭載したMac向けのサイズ
100B超	サーバ向けのサイズ
パラメーター数と目安

　なおQwen3.8-27Bは、1つのGPUに収まる規模で扱いやすい「密（dense）」モデル（処理のたびに全てのパラメーターを使うモデル）で、テキストに加えて画像や動画の入力にも対応している（Qwen3.8-27Bであっても配布モデルによっては動画の入力に対応していないことがある。bartowski/Qwen3.8-27B-GGUFは画像の入力には対応しているものの、動画入力には対応していない）。

（5）フォーマット

　末尾の「GGUF」は配布形式を示す。公式の「Qwen3.8-27B-FP8」のように、フォーマットの代わりに精度（FP8）が付く場合もある（詳細は後述）。

「A○B」が付いたモデルに注意

　「A3B」のような表記が付いたモデルは、「MoE（Mixture of Experts）」と呼ばれる構造を採用している。MoEモデルは内部に多数の「専門家（エキスパート）」を持ち、1トークンを処理するごとに、その一部だけを使って計算する。

MoEを採用したモデルの命名規則

　Qwen3.6-35B-A3Bの場合、総パラメーター数は35Bだが、1トークン当たりに使われるのは約3Bにとどまる。必要なメモリ量は総パラメーター数（35B）で決まり、動作速度はおおむねアクティブパラメーター数（3B）で決まる、と覚えておくとよい。Q4_K_Mではファイルサイズが約21GBになる一方、速度は3B級のモデルに近い。GPUに収まり切らない部分をメインメモリに逃がしても、速度の低下が比較的小さいのもMoEモデルの利点だ。

　同程度のメモリを使う密モデルの27Bと比べると、MoEの35B-A3Bは速度で、密モデルの27Bは回答の品質で有利になりやすいといわれている。

モデルの種類を表す「Instruct」「Thinking」

　名前の末尾には、モデルの種類を示す表記が付くことがある。特によく見かけるのは次の3つだ。

表記	意味
Instruct／Chat／it	会話や指示に応じられるよう調整済みのモデルであることを示す。チャットで使うなら、基本的にこれを選ぶ。逆に「Base」が付いたモデルは調整前の素材用なので、そのままでは会話がうまく成立しない
Thinking	回答の前に思考過程を出力して、推論力を高めたモデルであることを示す
2507、0528などの4桁の数字	版の日付を示す。Qwenの「2507」は2025年7月版、DeepSeekの「0528」は5月28日版というように、配布元によって書式が異なる。同じ名前のモデルなら、一般に日付が新しいほど改良されている
モデルの種類を示す主な表記

　例えば「Qwen3-30B-A3B-Instruct-2507」は、「2025年7月版の、会話用に調整されたQwen3の30B（MoE）モデル」と読める。なお、Qwen3.5以降は会話用のモデルを「Qwen3.8-27B」のように表記なしで公開しており、思考モードの有無も1つのモデルで切り替えられる。表記がないからといってBaseモデルとは限らないため、迷った場合はHugging Faceのモデルページにある［Model card］タブで確認するとよい。

Hugging Faceのモデルごとのページ
モデルの概要やライセンスなどは、Hugging Faceのモデルごとのページにある［Model card］タブを開くと確認できる。ライセンスの記述が見当たらない場合は、「Model tree for 〜」欄から元モデルのページを開いて確認するとよい。

その他の注意すべき表記

　この他にも、名前にはさまざまな表記が付く。

表記	意味
Coder／Math	コード生成や数学に特化したモデル
VL／Vision	画像の入力に対応したモデル
FP8／NVFP4／INT8	配布時点での精度。主にサーバ向けで、GGUFとは別物
abliterated／uncensored	第三者が安全対策を外した改変版。業務では使わない方が無難
UD-／imat／i1	量子化の手法を示す表記
-00001-of-00003	分割されたファイル。全てダウンロードする
mmproj	画像入力用の補助ファイル
その他のよく見かける表記

名前に2つのモデル名が入る「派生モデル」に注意

　Hugging Faceには「DeepSeek-R1-Distill-Qwen-14B」のように、1つの名前に複数のモデル名が入ったものがある。これは、DeepSeekが推論モデル「R1」の生成した回答データを使ってQwen2.5-14Bを追加学習し、R1の推論能力を小さなモデルに移した（蒸留：ディスティレーション）ものだ。「DeepSeek-R1」の名が付いていても中身はQwenの構造であり、R1本体（671B）とは規模も性能も別物なので注意してほしい。

　実際、Ollamaの公式ライブラリにある「deepseek-r1:14b」なども、R1本体ではなくこの蒸留モデルだ。名前だけでは土台のモデルを判断しにくい場合もあるが、Hugging Faceのモデルページにある「Model tree」欄を見れば、元になったモデルを確認できる。

末尾の表記で分かる配布フォーマットの違い

　モデル名やリポジトリ名の末尾にある表記は、どの推論エンジン（モデルを動かすソフトウェア）で使えるかを決める。

フォーマット	特徴と主な用途
safetensors	公式配布の標準形式。Transformers（Hugging Faceの標準ライブラリ）やvLLMで使う。精度はBF16が一般的だが、FP8やFP4など、最初から低精度で配布されるモデルも増えている
GGUF	ローカルLLMの標準。llama.cpp向けの形式で、CPU、GPU、Apple Siliconで動作する。OllamaやLM Studioで広く利用されている。GPUに収まりきらない部分をメインメモリ側で処理する「部分オフロード」ができる
AWQ／GPTQ	主に4bitの量子化形式。NVIDIA GPUとvLLMなど、サーバ向けの推論エンジンで高速に動作する
EXL2／EXL3	ExLlamaV2／V3向けの形式。NVIDIA GPU向け
MLX	Apple Silicon向けの形式。MacではGGUFと並ぶ有力な選択肢となる
主な配布フォーマット

　個人のWindows PCならGGUF、MacならGGUFかMLXを選ぶ。社内サーバで複数のユーザーに提供するなら、safetensors（FP8版など）またはAWQ／GPTQとvLLMを組み合わせる、というのが基本的な使い分けだ。

「Q4_K_M」を読み解く：量子化の仕組み

　量子化（Quantization）とは、モデルの重み（数値）を、より少ないビット数で近似的に表し直す技術である。例えば16bitの数値を4bit程度に置き換えることで、メモリ（VRAM／RAM）の消費量を大幅に削減できる。その代償として、回答の品質（精度）はわずかに低下する。

　LLMの文章生成は、計算量よりもメモリからデータを読み出す速さに左右される。そのため、モデルが小さくなるほど生成速度も上がりやすい。ただし、入力したプロンプトを読み込む処理はむしろ計算量が支配的なので、量子化しても速くなるとは限らない。

　GGUFの量子化では、重みを数十〜256個ごとの「ブロック」に区切り、ブロックごとに「スケール（倍率）」を持たせて数値を近似している。このスケールなどの補助情報が加わる分、実際の平均ビット数は名目上のビット数より少し多くなる。

　量子化の方式は、ファイル名にある「Q4_K_M」などの記号で判断できる。

量子化の方式を示す記号

（1）系統

　「Q」は通常の量子化方式を示し、後述の「_0／_1」と「_K」がこの系統に属する。「IQ」は「i-quants」と呼ばれる新しい系統で、複数の重みをまとめて、あらかじめ用意した値の組み合わせ表（コードブック）から近似する方式だ。2〜3bit台の低いビット数でも、同じサイズのK-quantsより品質を保ちやすい。ただし、CPUで実行すると遅くなることがある点に注意してほしい。

（2）ビット数

　「8／6／5／4／3／2」は、1パラメーター当たりのビット数の目安（名目値）である。前述の補助情報が加わるため、実際の平均ビット数（bpw：bits per weight）は、Q4_K_Mで約4.8、Q8_0で約8.5となる。従って、Q4_K_Mのファイルサイズは元のFP16の約30％（約70％削減）が目安となる。前述の「モデルサイズの早見表」で紹介した「B数×0.6GB」という計算式も、この約4.8bit（＝約0.6B）から求めたものだ。

（3）方式

　「_0／_1」は初期世代の方式で、「_0」はスケールのみ、「_1」はスケールに加えてオフセット（ずらし幅）も持つ。4〜5bitではK-quantsやi-quantsに劣るが、Q8_0は元のモデルとほぼ同等の品質で互換性も高いため、今でも定番である。

　「_K」は、現在の主流であるK-quantsであることを示す。256個の重みを「スーパーブロック」としてまとめ、その中の小ブロックのスケールもさらに量子化する二段構えの方式によって、少ないビット数でも精度を保っている。

（4）サイズ区分

　「_S」「_M」「_L」はサイズ区分を示す。「_S」はサイズを優先したものだ。「_M」は最も広く使われる標準で、出力への影響が大きい一部のテンソル（重み行列）を1段高いビット数で保存する。「_L」は高いビット数で保存するテンソルをさらに増やし、品質を優先したものだ。

　S／M／Lの違いは、テンソルの種類ごとにあらかじめ決められた割り当てルールの違いであり、モデルごとに重要度を判定しているわけではない。IQ系では、さらに細かい「XS」「XXS」などの区分や、非線形の近似を使う「NL」もある。

　一方、最近は配布者がモデルごとに品質への影響を測定し、独自に割り当てを計算するケースも増えている。bartowskiのQwen3.8-27B用ファイルの一部もこの方式で作られており、同じ「Q4_K_M」でも配布者によって中身が少し異なることがある点に注意が必要だ。また、ファイル名の「imat」「i1」は、サンプルの文章でモデルを動かして重みの重要度を測る「imatrix（重要度行列）」を使って量子化したことを、「UD-」はunslothの独自方式（Unsloth Dynamic）で量子化したことを示す。

配布ファイルの例

　以下は、bartowski/Qwen3.8-27B-GGUFで配布されている主なファイルの一覧である。ファイルサイズは配布ページの表記（2026年9月時点）に基づく。画像入力用の補助ファイル（mmproj、約0.93GB）は含まない。

量子化レベル	ファイルサイズ	必要なVRAMの目安	品質低下	特徴とおすすめの用途
BF16	約55GB（分割保存）	64GB以上	なし（基準）	量子化前のオリジナル
Q8_0	29.1GB	32〜48GB	ほぼなし	最高品質。メモリに十分な余裕がある環境向け
Q6_K	23.9GB	32GB	ごくわずか	品質低下をほぼ体感できない高品質な設定
Q5_K_M	20.9GB	24GB	わずか	推論やプログラミングなど、正確性を重視する用途
Q4_K_M	17.4GB	24GB	小さい	【迷ったらこれ】事実上の標準設定。サイズと品質のバランスがよい
IQ4_XS	15.5GB	24GB	小さい	Q4_K_Mより小さく、品質は近い
IQ3_M	14.9GB	16GB（余裕は少ない）	中程度	VRAM 16GBのGPU向け。Q3_K_Mより品質を優先
Q3_K_M	13.4GB	16GB	中程度	VRAM 16GBのGPUで動かしたい場合
IQ2_M	10.5GB	12GB	大きい	動作の確認用。実用には向かない
IQ2_XXS	8.88GB	12GB	非常に大きい	回答が破綻しやすく、実用には向かない
bartowski/Qwen3.8-27B-GGUFで配布されている主なファイル

　なお、各量子化ファイルにはMTP（Multi-Token Prediction）と呼ばれる追加の層も含まれている。MTP層はモデルに内蔵された「下書き役」として働き、llama.cppで専用のオプションを指定すると、生成を高速化できる。

　品質低下の度合いは、モデルの規模によっても変わる。一般に、大きいモデルほど低ビットの量子化に強い。数百B級の巨大なMoEモデルでは2bit以下に量子化しても実用になる例がある一方、27B級のモデルでは2bit台まで下げると品質の低下が大きく、実用は難しい。

PCのスペックに合わせたモデル選びの鉄則

　PCのスペック（VRAM／RAM容量）に合わせて最適なモデルを選ぶための鉄則は、次の3点だ。

「Q4_K_M」を基準点にする

　まずは、品質とサイズのバランスに優れたQ4_K_Mを基準に選ぶ。メモリに余裕があればQ5_K_MやQ6_Kに引き上げ、不足する場合はIQ4_XS、IQ3_Mの順に下げていくのが最もスムーズだ。

「小さいモデルのQ8」より「大きいモデルのQ4」を選ぶ

　8BモデルのQ8_0（約8.5GB）と14BモデルのQ4_K_M（約9GB）は、ほぼ同じメモリを使う。この場合、一般的には14BモデルのQ4_K_Mの方が性能は高い。

　性能のベースとなるのは元のパラメーター数（脳の大きさ）なので、小さなモデルを過剰に高い精度で動かすより、多少量子化してでもワンサイズ大きなモデルを動かす方が有利になりやすい。ただし、3bitを下回るような量子化では逆転することもある。また前述の通り、世代が異なるモデル同士では、同じサイズでも新しいモデルの方が高性能なことが多い。

タスクの性質で選ぶ

　日常会話や文章作成、要約といった用途なら、Q4_K_MやIQ4_XSで十分な性能を発揮する。一方、推論（思考モード）やコード生成では、思考過程や構文の正確性が重要になるため、メモリに余裕があればQ5_K_M以上を選びたい。思考モードでは長い思考過程を出力する分、それまでの文脈を保持する「KVキャッシュ」用のメモリも多めに見積もっておく必要がある。

---

　Hugging Face上の複雑に見えるモデル名も、ルールさえ知っていれば「配布元（組織名）・シリーズ・世代・規模・フォーマット・精度」をひと目で把握できる。

　まずはPCのメモリ容量を確認し、「パラメーター数」と「量子化レベル（標準はQ4_K_M）」の組み合わせで、メモリに収まるモデルを選ぶとよい。その上で、ライセンスと配布元の信頼性も確認し、ローカルLLM環境を構築してほしい。