何か作りたいエンジニアの奮闘記

「AIの精度」はどの数字を見ればいいのか〜量子化でどれだけ賢さが削られるのかを実測する〜

モデルを軽くする量子化は「賢さはほとんど落ちない」と言われます。本当かどうか、F16を1つ落として手元でQ8からQ2まで作り、perplexity・KL divergence・実際の出力の3つで測りました。数字の崖はQ3から。ところがQ2でもFizzBuzzは動き、17×24も当てます。崩れたのは日本語の説明文だけでした。さらに「日本語のほうが先に壊れるのでは」という予想を検証したところ、perplexityでは外れて見えたのにKL divergenceでは1.5倍脆いと出る——測り方で結論が変わる場面に行き当たった記録です。

ローカルLLM推論エンジン対決〜Metal・MLX・CUDAで同じモデルを走らせて測る〜

ローカルLLMを動かす『推論エンジン』を、同じモデル・同じ量子化で比較。Mac（Apple M4）でllama.cpp(Metal)とMLXはほぼ互角（20.6 vs 21.1 tok/s、MLXはロードが速く省メモリ）。Windows（RTX 3060・CUDA）は同じllama.cppのコードで約3倍速の62.1 tok/s。量子化とは何か・VRAMに載るとは何かを図解し、自分のPCならどのサイズが最適かの判断表も作りました。