何か作りたいエンジニアの奮闘記

統合メモリ対決：Apple M4 vs Ryzen 780M〜同じ共有メモリなのに、なぜ速度が違うのか〜

どちらもCPUにGPUを内蔵しメインメモリを共有する「統合メモリ」構成。Apple M4（Mac）とRyzen 7 7840HSのRadeon 780M（ミニPC）で、同じQwen2.5-Coderの7B・14Bを同じ条件で走らせて比べました。生成速度は7BでM4が19.55 tok/s（MLXなら22.60）に対し780Mは13.37、14BはM4 10.69に対し780M 6.72。M4が約1.5倍速い一方、メモリ帯域の差は120GB/s対89.6GB/sの1.34倍しかありません。帯域だけでは説明できないこの差の正体を、iPhone由来のApple GPUとグラフィックボード由来のRDNA 3という両者の設計の出自から掘り下げます。

ローカルLLM推論エンジン対決〜Metal・MLX・CUDAで同じモデルを走らせて測る〜

ローカルLLMを動かす『推論エンジン』を、同じモデル・同じ量子化で比較。Mac（Apple M4）でllama.cpp(Metal)とMLXはほぼ互角（20.6 vs 21.1 tok/s、MLXはロードが速く省メモリ）。Windows（RTX 3060・CUDA）は同じllama.cppのコードで約3倍速の62.1 tok/s。量子化とは何か・VRAMに載るとは何かを図解し、自分のPCならどのサイズが最適かの判断表も作りました。