GGUF量子化の選び方 — Q4_K_M / Q5_K_M / Q8_0 / IQ系の違いと使い分け【2026年版】

迷ったら Q4_K_M を選べば間違いありません。 7〜8Bのモデルなら約6GBのVRAMに収まり、フル精度（FP16）と比べた品質低下は多くのベンチマークで約1%程度、Ollama・LM Studio・llama.cpp のどのツールでも動きます。VRAMに余裕がある（8〜12GB以上）なら Q5_K_M や Q6_K に上げると、多言語・構造化出力・複雑な推論で目に見えて品質が上がります。この記事では、GGUF量子化の命名規則の読み方から、各レベルのトレードオフ、IQ系（imatrix）との違い、用途別の選び方までを整理します。

前提として、GGUFファイルとその読み込みツールについてはOllama と LM Studio の比較、必要VRAMの見積もりは各モデルの requirements 記事やVRAM計算ツールを併せて参照してください。

量子化とは、モデルの重み（パラメータ）を表す数値の精度を落として、ファイルサイズと必要メモリを削減する技術です。元のモデルは1つの重みを16bit（FP16/BF16）で持っていますが、これを4bitや5bitに圧縮すると、メモリ使用量はおおよそ 1/4〜1/3 になります。その代わり、細かい数値の丸めによってわずかに品質が落ちます。「どこまで圧縮すると実用に耐えなくなるか」の線引きを知ることが、量子化選びの本質です。

Q4_K_M のような名前は、3つの情報を組み合わせたものです。分解すると読めるようになります。

つまり Q4_K_M は「4bit・K-quant方式・Mサイズ」の意味です。_K が付かない Q4_0 Q4_1 は旧来のレガシー方式で、今は基本的に K-quant（_K_M / _K_S）を選べば十分です。K_M と K_S の違いは、K_M が品質に効く attention 層により多くのビットを使う点で、サイズ増はわずかなので、ほとんどの場合 K_M を選ぶ価値があります。

8Bクラスのモデルを例に、各量子化レベルの目安を整理します（モデルサイズにより数値は変動します）。

実務上の目安はシンプルです。6〜8GBのGPUなら Q4_K_M、8〜12GBなら Q5_K_M〜Q6_K、余裕があれば Q8_0。3bit以下は「とにかく動かしたい」場合の妥協で、常用は避けるのが無難です。

IQ4_XS IQ3_M のように IQ で始まるものは、importance matrix（imatrix、重要度行列）を使った量子化です。通常の量子化が全ての重みを一律に扱うのに対し、imatrix は「どの重みが出力に効いているか」を実データで測り、重要な重みを高い精度で残します。

- メリット: 同じビット数でも品質が高い。例えば IQ4_XS は多くの場合 Q4_K_M の代替として使え、8Bモデルで250MBほど小さく収まる
- 注意点1（速度）: I-quant はデコード処理が重く、CPU実行やApple Siliconでは K-quant より遅くなることがある。GPU（NVIDIA）では差が小さい
- 注意点2（品質）: 自分で量子化する場合、imatrix のキャリブレーションが必須。imatrix なしのI-quantは品質が大きく落ちることがある。配布済みのGGUF（imatrix適用済み）を使うなら気にしなくてよい

まとめると、NVIDIA GPUで少しでも小さく高品質にしたいなら IQ系、CPU/Macで速度を重視するなら K-quant（Q4_K_M等） が無難な使い分けです。

量子化の影響はタスク一様ではありません。2026年前半の各種検証でも、常識推論や一般的な会話は量子化に強く（4bitでもほぼ落ちない）、一方で算術・厳密な推論は4bitを下回ると品質の崖（急落）が起きやすいことが確認されています。コーディングや複雑な推論チェーンでは、Q4→Q5 の一段が特に効きます。逆に、要約・雑談・分類のような用途なら Q4_K_M で十分なことが多いです。

この「用途で必要精度が違う」性質は、モデル選びにも通じます。小型モデルの高精度量子化と、大型モデルの低精度量子化のどちらが良いかは用途次第で、ローカルLLMの選び方（2026年6月時点）も参考にしてください。