前回は「AIの速度はどの数字を見ればいいのか」を実測で整理しました。速度と精度はセットで語られることが多いので、今回はもう片方をやります。

ローカルLLMの話には量子化という言葉が必ず出てきます。モデルを軽くする代わりに、ほんの少し賢さが落ちる——そう説明されます。推論エンジンを比べた回でもそう書きました。ただ、そのとき正直にこう添えていました。

Q6/Q8の実測は今回は行わず、サイズは一般的な目安を載せています

つまり「落ちる」と書きながら、どれだけ落ちるかは測っていなかったわけです。今回はその宿題を回収します😊

🧠 この記事でわかること
・量子化でどれだけ賢さが削られるのかを、Q8からQ2まで自分の数字で
・★数字の崖はQ3から。でもQ2でもFizzBuzzは動くし、17×24も当てる
・★崩れたのは日本語の説明文だけだった（実際の出力を並べます）
・★「日本語のほうが先に壊れる」は、測り方によって結論が変わった
・perplexity が見逃すものと、KL divergence が捉えるもの

「賢さはほとんど落ちない」は本当か

スポンサーリンク

先に今回の結論をひとつ出しておきます。

どこから急に悪くなるのか 縦軸＝F16からのperplexity悪化率（％）。3つのコーパスで測った 0% 5% 10% 15% 20% 25% F16 Q8_0 Q6_K Q5_K_M Q4_K_M Q3_K_M Q2_K ここから崖 +22.5% +23.4% +20.6% 英語Wikipedia 日本語Wikipedia 日本語 小説(1914) Q4_K_Mまではほぼ平坦。Q3で跳ね、Q2で崩れる ★どのコーパスでも崖の位置は同じ。「Q4_K_Mが定番」の根拠が数字で見える

Q4_K_Mまではほぼ平坦で、Q3から急に折れます。「Q4_K_Mが定番」と言われる根拠が、自分の数字で見えました。

ただ、これは数字の話でしかありません。この記事の面白いところは、ここから先で数字と実物がズレていくところです。

用語集

用語意味
量子化モデルの中の数値を粗くして容量を減らすこと。写真をJPEGで圧縮するのに近い
F16 / Q8 / Q4 …1つの数値を何ビットで持つか。F16は16ビット（元のまま）、Q4は4ビット相当。数字が小さいほど軽く、粗い
K-quants`Q4_K_M` の `K` の部分。場所によってビット数を変える賢い量子化。大事な部分だけ多めのビットを残します
perplexityパープレキシティ。次に来る単語をどれだけ当てにくかったか。小さいほど良い
KL divergence2つのモデルが「次に何が来ると思ったか」のズレを測るもの。0に近いほど元と同じ振る舞い
コーパス評価に使う文章のまとまり。何を選ぶかで数字が変わるので、条件を揃える必要があります
temperature出力のばらつき具合。0にすると毎回同じ答えになるので、比較のときはここを固定します

「精度」は2つの意味で使われている

本題に入る前に、ひとつ整理しておきます。「精度」という言葉が、まったく違う2つの意味で使われています。

「精度」は2つの意味で使われている カタログでも記事でも混ざりがちなので、最初に分けておく ① 数値の精度 FP16 / INT8 / Q4 … 1つの数値を何ビットで持つか 16bit → 8bit → 4bit → 2bit 写真をJPEGで圧縮するのに近い ★測るのは簡単（ファイルを見れば分かる） この記事で「量子化」と呼ぶのはこちら ② 出力の正しさ 賢さ・当たり外れ 言われたことをちゃんとやれるか 動くコードか／指示を守れたか 人が読んで初めて分かることも多い ★測るのが難しい（この記事の本題） 数字と実物の両方で見ていく ①を落とすと②がどれだけ削られるのか——それを実測するのが今回 「①を落としても②はほとんど変わらない」というのが通説。本当かどうか確かめる

F16を1つ落として、あとは手元で作る

比べるなら同じ元から作った量子化どうしでないと意味がありません。配布元が違うと、作り方の設定も違うかもしれないからです。

そこでF16（元のまま・14.19 GiB）を1つだけダウンロードし、あとは手元で全部生成しました。llama.cppに付いてくる llama-quantize を使います。

for q in Q8_0 Q6_K Q5_K_M Q4_K_M Q3_K_M Q2_K; do
  llama-quantize モデル-F16.gguf モデル-$q.gguf $q
done

6種類がぜんぶで3分弱でできました。ダウンロードは14.19 GiBの1回だけで済むので、同じことを試すのも簡単です。

量子化サイズF16比
F16（元のまま）14.19 GiB100%
Q8_07.54 GiB53%
Q6_K5.82 GiB41%
Q5_K_M5.07 GiB36%
Q4_K_M4.36 GiB31%
Q3_K_M3.55 GiB25%
Q2_K2.81 GiB20%

Qwen2.5-Coder-7B-Instruct。Q2_Kまで落とすと元の5分の1になります

perplexityが測れるもの、測れないもの

賢さを数字で測る定番が perplexity です。ただし、これが何を測っていて何を測っていないかを先に押さえておかないと、後で読み違えます。

perplexity（パープレキシティ）が測っているもの 文章を1語ずつ隠して「次に来る語」を当てさせ、どれだけ当てにくかったかを数える 私 は 昨日 公園 で 犬 と ？ ← ここを当てる。自信を持って当てられれば小さい値 　 迷えば大きい値になる（小さいほど良い） ⭕ これは測れる ・文章の「予測しやすさ」がどれだけ崩れたか ・同じ条件どうしなら比べられる ・量子化で何が失われたかの目安 ※機械的に計算できるので再現しやすい ❌ これは測れない ・指示にちゃんと従えるか ・嘘をつかないか ・書いたコードが動くか ※だから実際の出力も並べる必要がある ★数字は「どれだけ壊れたか」の目安。「賢さの証明」ではない

実測①：崖はQ3から始まる

まず数字です。英語（Wikipedia）で測ったperplexityがこちら。

量子化perplexityF16からの悪化
F169.3439 ± 0.21基準
Q8_09.3372−0.07%
Q6_K9.3730+0.31%
Q5_K_M9.3711+0.29%
Q4_K_M9.4654+1.30%
Q3_K_M9.8903+5.85%
Q2_K11.4423+22.46%

Q8_0にいたっては、F16よりわずかに良い値が出ました。 もちろん誤差（±0.21）の範囲なので「同じ」と読むべきですが、サイズが半分になっても悪化が測定誤差に埋もれるのは確かです。

Q4_K_Mまでは+1.30%。Q3で+5.85%と4.5倍に跳ね、Q2で+22.46%とさらに4倍。崖の位置がはっきりしました。

実測②：では、実際に何を書くのか

ここからが本題です。「+5.85%悪化」と言われても、それが何を意味するのかは分かりません。 実際に同じ質問を全部に投げて、返ってきた文章をそのまま並べます。

条件は揃えました。temperature 0 で固定（毎回同じ答えになる）、同じ質問を7つの量子化すべてに、出力は整形せず原文のままです。

コードは書けるのか

「FizzBuzzを返すPython関数を書いて」と頼みました。動くか動かないかで客観的に判定できるのが利点です。

量子化出力（そのまま）実行結果
F16 〜 Q5_K_M['Fizz' * (not i % 3) + 'Buzz' * (not i % 5) or str(i) for i in range(1, n+1)]✅ 正解
Q4_K_M同じ（空白の入れ方だけ違う）✅ 正解
Q3_K_M['Fizz' * (i % 3 == 0) + 'Buzz' * (i % 5 == 0) or str(i) for i in range(1, n+1)]✅ 正解
Q2_KQ3とほぼ同じ✅ 正解

全部動きました。Q2_Kも含めて。 実際に fizzbuzz(15) を実行して、期待どおりの並びが返ることを確認しています。

面白いのはQ3から書き方が変わったことです。上位は not i % 3、Q3以下は i % 3 == 0。どちらも正しく、後者のほうがむしろ素直な書き方です。ここで起きているのは「劣化」ではなく「選ぶ表現が変わった」と見るべきでしょう。

計算はできるのか

「17 × 24 はいくつか。途中を書いてから答えを1行で」と頼みました。

量子化出力（そのまま）
F16 〜 Q5_K_M17 × 24 = (10 + 7) × 24 → 240 + 168 = 408（4モデルとも一字一句同じ）
Q4_K_M同じ手順。前置きの言い回しだけ違う → 408
Q3_K_M17×4=68、17×20=340、68+340=408（別のやり方だが正解）
Q2_K17 × 24 = 408 だけ。答えは合っているが「途中を書け」という指示を無視した

ここでQ2_Kに初めて綻びが出ます。ただし間違えたのではなく、指示を守らなかったという形です。

日本語で説明させると

そして、はっきり差が出たのがここでした。「量子化とは何かを日本語で説明して」と頼んだ結果です。

量子化出力（そのまま・抜粋）
Q4_K_M「量子化とは、物理的な量を離散的な値に制限することを指します。例えば、電子のエネルギーは量子化され、特定の値しか取ることができません。」
Q3_K_M（別の質問で）「ローカルLLMは、大規模な言語モデルを本地で実行するシステムを指します」
← 「本地」は中国語で「ローカル」の意味。日本語に混入している
Q2_K「量子化とは、物理現象を数値や図形などの具体的な形で表現することを指します。主に、物理や数学の専門用語で表現されることが多いですが、その意味は広範で、情報の整理や分析、表現など、様々な場面で使用されます。」
← 文としては読めるが、中身がほとんど無い

Q3で中国語が混じり、Q2で内容が空っぽになりました。 コードは動き、計算も当てたのに、日本語の説明だけが崩れています。

📌 正直に書いておくこと
・「必ず3行で」という指示は、F16を含む全モデルが守れませんでした（全部1行）。これは量子化のせいではなくモデルの性質なので、比較には使えません
・JSON形式で返す課題は、Q2_Kまで全部正解でした。簡単すぎて差がつきません
・1回の出力で断定はできません。今回は5種類の質問で傾向を見ています

数字の崖と、体感の崖はズレていた

ここまでを並べると、こうなります。

量子化数字（perplexity）実際の出力
Q4_K_M+1.30%ほぼ完璧
Q3_K_M+5.85%（崖）コードは正解。日本語に中国語が混じる
Q2_K+22.46%（崩壊）コードは正解・計算も正解・JSONも正解。日本語の説明だけ崩れる
★数字が「崩壊」と言っているQ2_Kが、タスクによっては普通に通る
perplexityが22%悪化した状態でも、FizzBuzzは動き、17×24は当て、JSONの形式も守りました。
数字だけを見て「使い物にならない」と判断すると、実態を見誤ります。逆に、数字がまだ小さいQ3の段階で、日本語にはもう異物が混じっていました。
数字の崖と体感の崖は、同じ場所にありません。

日本語は先に壊れるのか——測り方で結論が変わった

ここで、検証を始める前に立てていた予想を確かめます。「日本語のほうが先に壊れるのではないか」——学習データの比率やトークナイザの都合で、英語より早く崩れるのではないか、というものです。

実際の出力を見る限り、当たっているように見えます。ではperplexityではどうか。日本語（青空文庫『こころ』）でも測りました。

量子化英語の悪化日本語の悪化
Q4_K_M+1.30%+0.48%
Q3_K_M+5.85%+3.19%
Q2_K+22.46%+20.56%

逆でした。 どの段階でも日本語のほうが悪化が小さい。予想は外れ——と、ここで結論しかけました😅

ただ、ひとつ引っかかることがありました。日本語の基準値（F16での値）が51.89と、英語の9.34に比べて極端に高いのです。このモデルはコード特化（Qwen2.5-Coder）なので、そもそも日本語が得意ではありません。

元が悪ければ、そこから少し悪くなっても割合としては小さく見えてしまうのではないか。 そう考えて、2つの方法で裏を取りました。

裏取り①：コーパスのジャンルを揃える

英語はWikipediaなのに、日本語は1914年の小説でした。文語調の古い文章は現代の百科事典より予測しにくいはずです。そこで日本語版Wikipediaでも測りました。

量子化英語Wikipedia日本語Wikipedia日本語 小説
F16の基準値9.3413.0451.89
Q4_K_M+1.30%+1.11%+0.48%
Q3_K_M+5.85%+5.14%+3.19%
Q2_K+22.46%+23.35%+20.56%

ジャンルを揃えると、日本語も英語とほぼ同じ悪化率になりました。 Q2ではむしろ日本語のほうがわずかに悪い。

つまり「日本語は頑丈」に見えていたのは、コーパスが古い小説で元々予測しにくかったからでした。言語の性質ではなく、テキストの選び方の問題だったわけです。

裏取り②：基準値に左右されない指標で測る

ただし、これでもまだ「同じくらい」までしか言えません。実際の出力では明らかに日本語が崩れているのに、数字では差が出ない。

そこでKL divergenceで測り直しました。これは「F16と比べて、次に来る語の予想がどれだけズレたか」を直接測るので、そのコーパスが難しいかどうかに左右されません。

★perplexityが見逃していたもの：日本語のほうが1.5倍ズレる 縦軸＝KL divergence（F16と比べて出力分布がどれだけズレたか・対数目盛） 0.0001 0.001 0.01 0.1 Q8_0 Q6_K Q5_K_M Q4_K_M Q3_K_M Q2_K 1.46倍 1.65倍 1.46倍 1.44倍 1.51倍 1.54倍 英語 日本語 ★全段階で日本語のほうがズレが大きい（1.44〜1.65倍で一定） perplexityの悪化率では見えなかった差が、はっきり出る

はっきり差が出ました。 全段階で日本語のほうがズレが大きく、その比率は1.44〜1.65倍で安定しています。

もっと直感的なのが「元のモデルと同じ単語を1位に選べた割合」です。

元のモデルと「同じ単語」を1位に選べた割合 F16が選んだ次の単語と一致した割合。100%に近いほど元と同じ振る舞い Q8_0 99.3% 98.9% Q6_K 97.7% 96.7% Q5_K_M 96.3% 94.7% Q4_K_M 93.6% 90.2% Q3_K_M 87.8% 81.5% Q2_K 77.1% 64.9% 英語 日本語 Q2_Kは英語77.1%／日本語64.9%。日本語では3回に1回以上、違う単語を選んでいる Q4_K_Mなら英語93.6%／日本語90.2%。ここが実用の分かれ目

Q2_Kでは、英語77.1%に対して日本語は64.9%。 日本語では3回に1回以上、元のモデルとは違う単語を選んでいます。Q3の段階でも81.5%対87.8%と6ポイント開いています。

★予想は当たっていました。ただしperplexityだけを見ていたら外れたと結論していました
・perplexity（小説）→ 日本語のほうが良い（外れて見える）
・perplexity（Wikipedia）→ ほぼ同じ（差が見えない）
・KL divergence → 日本語が1.5倍脆い（一貫して）
・実際の出力 → 日本語だけ崩れる
KL divergenceと実際の出力だけが、同じ答えを出しました。

なぜKL divergenceが必要だったのか

2つの指標で結論が変わった理由は、測っているものが違うからです。

量子化の評価には KL divergence のほうが向く perplexity で比べる場合 F16 の値：9.34 Q4 の値：9.47 どちらも「その文章での平均」なので ★文章の難しさに引きずられる 元が悪いと、悪化しても割合は小さく見える KL divergence で比べる場合 同じ位置で、F16 と Q4 が 「次に何が来ると思ったか」を 1つずつ突き合わせる ★「元からどれだけズレたか」を直接測れる 文章が難しくても関係ない 量子化は「元のモデルをどれだけ保てているか」の話なので、基準が要る llama.cpp が量子化の評価に KL divergence を勧めているのはこのため

perplexityは「その文章をどれだけ予測できたか」の平均です。だから文章の難しさに左右されます。KL divergenceは「元のモデルとどれだけ違う判断をしたか」なので、文章が難しくても関係ありません。

量子化で知りたいのは「元をどれだけ保てているか」です。だとすれば、基準を持つ後者のほうが素直に答えを出してくれる、ということでした。

小さくすれば速くなる、とは限らない

もうひとつ、測っていて予想外だったことがあります。

小さくすれば速くなる……とは限らない 棒＝ファイルサイズ(GiB)／折れ線＝生成速度(tok/s) 0 5 10 15 0 5 10 15 20 25 14.2 F16 7.5 Q8_0 5.8 Q6_K 5.1 Q5_K_M 4.4 Q4_K_M 3.5 Q3_K_M 2.8 Q2_K 6.9 13.0 16.5 16.4 21.0 17.8 23.2 ↑ここだけ遅い ★Q3_K_MはQ4_K_Mより小さいのに遅い（17.8 vs 21.0 tok/s） 量子化の形式ごとに計算のしかたが違うため。サイズと速度は単調に対応しない

Q3_K_Mだけ、へこんでいます。 Q4_K_M（4.36 GiB）より小さい3.55 GiBなのに、生成速度は17.8 tok/s と、Q4_K_Mの21.0 tok/s より遅いのです。

理由は量子化の形式ごとに計算のしかたが違うためです。K が付く量子化は「場所によってビット数を変える」仕組みで、その組み合わせ方が形式ごとに違います。数値を取り出す手間が形式によって変わるので、小さい＝速い が常に成り立つわけではありません。

ファイルサイズだけを見て速度を推測すると、ここで外します。

実務の使い分け

測って分かったことを、使い方の形にまとめます。

やりたいこと選ぶもの
迷ったらQ4_K_M。サイズは31%、悪化+1.30%、1位一致93.6%。定番と言われる理由が数字で確認できました
元をなるべく保ちたいQ8_0。サイズ半分で悪化は測定誤差の範囲、1位一致99.3%。実質ロスレス
日本語で使うQ4_K_Mより下げない。Q3で中国語の混入が出ます。日本語は英語より1.5倍脆い
コードだけ書かせるQ3でも実用になりました。Q2でも動くコードは出ましたが、1回の確認で断定はできません
とにかく容量を詰めたいQ2_Kは元の20%。ただし日本語の説明は期待できません
自分で評価したいperplexityだけで判断しない。KL divergenceと実際の出力を併せて見る

まとめ

  • F16を1つ落とせば、量子化は手元で全部作れます。 6種類で3分弱。同じ元から作るので比較の条件も揃います
  • ★数字の崖はQ3から。 Q4_K_Mまでは+1.30%、Q3で+5.85%、Q2で+22.46%。どのコーパスでも崖の位置は同じでした
  • ★ところが数字の崖と体感の崖はズレていました。 「崩壊」と言われるQ2_Kでも、FizzBuzzは動き、17×24は当て、JSONも守る。崩れたのは日本語の説明文だけ
  • ★「日本語のほうが先に壊れる」という予想は当たっていました。 ただしperplexityだけを見ていたら、外れたと結論していました。基準値の高さと、コーパスの選び方に引きずられていたからです
  • ★KL divergenceと実際の出力だけが、同じ答えを出しました。 日本語は英語より1.44〜1.65倍ズレる。Q2_Kの1位一致率は英語77.1%に対し日本語64.9%
  • 小さくすれば速くなるとは限りません。 Q3_K_MはQ4_K_Mより小さいのに遅い（17.8 vs 21.0 tok/s）

今回いちばん怖いと思ったのは、最初にperplexityだけを見て「予想は外れた」と書きかけたことです。数字は出ていたし、3つのコーパスで測って傾向も一致していた。それでも間違っていました。

数字が揃っていることと、正しい数字を見ていることは別——前回の速度の回でも「測っている場所が違うだけ」という話に行き着きましたが、精度でも同じところに戻ってきました😅

それでは、今回はここまで。最後までありがとうございました😊

【実測環境】Apple M4 / macOS 26.5.2 / RAM 32GB ／ llama.cpp b10090（7347430f4・Metal）。モデルは Qwen2.5-Coder-7B-Instruct の F16（unsloth 配布のGGUF）を取得し、llama-quantize で Q8_0 / Q6_K / Q5_K_M / Q4_K_M / Q3_K_M / Q2_K を生成。perplexity と KL divergence は llama-perplexity で 60チャンク・n_ctx 512。コーパスは英語＝wikitext-2 test（128万文字）、日本語Wikipedia＝ja.wikipedia.org のAPIから閲覧数上位の記事を取得（18記事・25.8万文字）、日本語小説＝青空文庫の夏目漱石『こころ』（著作権切れ・ルビと注記を除去、16.2万文字）。KL divergence はF16のロジットを基準ファイルに保存して比較。出力の採取は llama-cli で temperature 0・同一プロンプトを全量子化に投入し、整形せず保存（本文中の引用は llama-cli 自身が出す統計行のみ除去）。速度は llama-bench -p 512 -n 128 -r 3。コード生成の判定は、出力をそのまま実行して fizzbuzz(15) の結果を照合しています。数値は2026年7月時点の実測で、モデル・版により変わる可能性があります。