何か作りたいエンジニアの奮闘記

エッジAIチップの現在地〜組み込みでAIを動かす「箱」はどれを選ぶ？〜

ロボットや工場の機械など「PCではない場所」でAIを動かすチップを調べました。NVIDIA Jetson Thorと2026年7月発表の新モデルT3000／T2000、安全認証に強いAMD Versal AI Edge Gen 2、長期供給を掲げるQualcomm Dragonwing、1万9千円台のRaspberry Pi AI HAT+ 2、そして終了したGoogle Coral。TOPSやFPGA、ASIL Dといった用語を解説しながら用途別の選び方を整理します。

数GB級のLLMをNeural Engineで動かしてみた〜「806MBの崖」の正体を追いかけた〜

前回書いた「806MBの崖」は間違いでした。実物のQwen2.5をCore MLに変換したところ、943MBのモデルが演算の99.7%をANEで実行。原因を1つずつ切り分けると、正体は「約2GBのサイズの壁」と「特定の形だけ落ちる落とし穴」の2つでした。bisect_modelで分割すれば1.5B・3BもANEに載り、1.8倍速くなります。

AI PCの「NPU」は本当に使えるのか〜調べて、Neural Engineで実際に測ってみた〜

最近のPCには当たり前のようにNPUが載っています。ローカルLLMをNPUで動かせるのか調べたら、Ollama・llama.cpp・LM Studioといった主流ランタイムは、そもそもNPUを使っていませんでした。なぜLLMが苦手なのか（想定モデルサイズとメモリ帯域）を図解し、さらにMacのNeural Engineで実測。float16にするだけで約10倍、450MBまでは3倍速、806MBでコンパイル失敗という「NPUを最大限に使う条件」を数字で確かめ、今NPUを存分に活かせる場面も整理しました。