ここ数回、Metal・MLX・CUDAで推論エンジンを比べたり、NPUを調べたり、数GB級のLLMをNeural Engineに載せたりと、「手元のPCでAIをどう速く動かすか」ばかりやってきました。
ですが、AIが動く場所はPCだけではありません。ロボット、工場の検査装置、農機、ドローン、監視カメラ——PCではない機械の中でAIを動かすという世界があります。今回はそちらの「箱」を選ぶ話です😊
・★用語の解説つき：エッジAI・TOPS・FP4・FPGA・ASIL D などを平易に
・TOPSの落とし穴：数字をそのまま比べてはいけない理由
・NVIDIA Jetson：Thor世代と、2026年7月発表の新モデルT3000／T2000
・AMD／Qualcomm／Raspberry Pi／Google：それぞれの立ち位置
・★「AI減速機」問題：CPUより遅くなる実測が示すメモリ帯域の壁
・用途別の選び方と、実際の採用事例
※この記事は調査・紹介です（実機検証はしていません）。各社の仕様・価格は2026年7月時点で公式情報を確認したものですが、この分野は動きが速いので、導入検討の際は必ず最新をご確認ください。
PCの外でAIを動かす、という話
まず「なぜPCの外で動かすのか」から。AIを使うには、カメラの映像などをクラウドのサーバーに送って処理してもらう方法があります。速くて強力ですが、3つの困りごとがあります。
ロボットの目の前に人が飛び出してきたとき、映像をクラウドに送って返事を待っていては間に合いません。その場で判断する必要がある——これが今回の主役、エッジAIです。
まず用語を片付けておく
この分野は略語が多くて、カタログを開いた瞬間に心が折れます😅 先に用語をまとめて片付けておきます。
| 用語 | 意味 |
|---|---|
| エッジ（Edge） | ネットワークの「端っこ」。クラウド（中央）に対して、現場にある機械そのものを指します。エッジAI＝現場の機械の中で動くAI |
| SoC | System on a Chip。CPU・GPU・AI処理部・映像入力などを1枚のチップに詰め込んだもの。基板が小さくなり消費電力も下がるので、組み込みではこれが基本形 |
| モジュール／ キャリアボード | 組み込みでは、SoCとメモリを載せた小さな基板（モジュール）を、自社で作った土台の基板（キャリアボード）に挿して使います。頭脳だけ買ってきて、体は自分で作るイメージ |
| TOPS / TFLOPS | 1秒間に何兆回計算できるかの指標。TOPSは整数、TFLOPSは小数の計算。ただし後述の理由で、数字をそのまま比べてはいけません |
| INT8 / FP4 など | 1つの数値を何ビットで表すか。INT8は整数8ビット、FP4は小数4ビット。ビットを削るほど速く省メモリになりますが、精度は落ちます（量子化の回で触れた話です） |
| NPU | AI処理専用の回路。前々回扱ったとおり、GPUより省電力ですが、大きなモデルは苦手 |
| FPGA | 買ったあとから回路の配線を書き換えられるチップ。「専用回路を自作できる」ようなもので、決まった処理を極めて速く・きっかり同じ時間で処理できます |
| ASIL D / SIL 3 | 車載（ASIL）と産業機械（SIL）の機能安全の等級。ASIL Dは最高位で「壊れても人を傷つけない設計になっている」ことの証明。取得には膨大な検証が要ります |
| ロックステップ | 同じ計算を2つのCPUで同時に実行し、答えが食い違ったら異常と判断する仕組み。安全用途の定番 |
| メモリ帯域 | 1秒間にメモリからデータを何GB運べるか。AIの速度を決める本当の主役で、この記事の後半の山場です |
| VLA モデル | Vision-Language-Action。「見る・言葉で理解する・体を動かす」を一つにまとめたAI。今のロボットAIの主流で、これが重いためにチップの要求が跳ね上がっています |
TOPSの数字は、そのままでは比べられない
カタログでいちばん目立つのがTOPSですが、ここに大きな落とし穴があります。半導体3社の回でも触れましたが、改めて。
「スパース（疎）」というのは、モデルの重みの半分がゼロだと仮定した条件のことです。ゼロは計算を飛ばせるので数字が倍になりますが、実際のモデルが都合よく半分ゼロとは限りません。カタログに「2070 TFLOPS（sparse）」とあれば、実際に出るのはその半分と考えたほうが現実に近いわけですね。
NVIDIA Jetson：いちばん手の届く「本命」
組み込みAIで最初に名前が挙がるのがNVIDIAのJetsonシリーズです。理由は性能もさることながら、PC用のCUDAで書いた資産がだいたいそのまま動くこと。開発環境の連続性は、現場では性能以上に効きます。
2026年時点の最上位がJetson AGX Thor。データセンター向けと同じBlackwell世代のGPUを積んでいます。
| 項目 | Jetson AGX Thor（T5000） | 前世代 AGX Orin |
|---|---|---|
| AI性能 | 2070 TFLOPS（FP4・sparse） 1035 TFLOPS（FP8・dense） | 約275 TOPS（INT8） |
| メモリ | 128GB LPDDR5X／270GB/s超 | 最大64GB |
| CPU | 14コア Arm Neoverse V3AE（〜2.6GHz） | 12コア Arm Cortex-A78AE |
| 消費電力 | 40〜130W | 15〜60W |
| 開発キット価格 | 3,499ドル | — |
NVIDIAは「AI性能で7.5倍、電力あたりの効率で3.5倍」と説明しています。ただし前述のとおり、2070（FP4・sparse）と275（INT8）は条件が違う数字なので、7.5倍という比較のほうを見るのが誠実だと思います。
2026年7月、下位モデルが発表された
この記事を書いている直前（2026年7月17日）に、NVIDIAがより手の届く2モデルを発表しました。ここが今回いちばん新しい話題です。
| モデル | AI性能 | メモリ | 位置づけ |
|---|---|---|---|
| T5000（現行のAGX Thor） | 2070 FP4 TFLOPS | 128GB | 最上位。ヒューマノイド等 |
| T3000（新） | 865 FP4 TFLOPS | 32GB | T5000の約半分の大きさと電力。機能安全つきのIGX版もあり |
| T2000（新） | 400 FP4 TFLOPS | 16GB | 入門口。幅広いエッジAI機器向け |
実物の出荷は2027年第1四半期の予定ですが、開発だけは既存のAGX Thor開発キット上のエミュレーションモード（T3000相当の動きを再現する機能）で先に始められる、という形になっています。ハードが届く前にソフトを作り始められるわけですね。
なお入門用としては、前世代のJetson Orin Nano Super（249ドル・67 TOPS）が現時点で買える選択肢としてあります。個人で試すならまずここ、という位置づけです。
AMD Versal AI Edge Gen 2：止まらないことが最優先の世界
AMDのVersal AI Edge Gen 2は、性能の数字で殴り合うタイプではありません。狙っているのは「絶対に誤作動してはいけない機械」です。車の運転支援、産業ロボット、航空・防衛といった領域ですね。
特徴は3つあります。
① 最高等級の安全認証（ASIL D / SIL 3）。8個のArm Cortex-A78AEコアをすべてロックステップ（2個1組で同じ計算をして答え合わせ）で動かす構成が用意されています。
② FPGAによる「きっかり同じ時間」の処理。カメラの信号処理やセンサーの統合を、書き換え可能な回路で組みます。GPUだと「たいてい速いが、たまに遅れる」ことがありますが、専用回路なら毎回同じ時間で終わる——これを決定論的と言います。ブレーキの判断が「たまに遅れる」のは許されない、という世界の話です。
③ 前処理・推論・後処理を1チップで完結。カメラの生データを整える→AIで判断する→結果を制御信号に変える、という流れをまとめて1枚で処理できます。部品が減れば、壊れる箇所も減ります。
AI性能そのものも新世代のAIエンジンでタイルあたり2倍に伸びていますが、この製品を選ぶ理由はやはり「認証を取れること」でしょう。自動車や産業機械では、安全認証がないチップはそもそも土俵に上がれません。
Qualcomm Dragonwing：長く作り続けられること
スマートフォンで知られるQualcommも、産業向けにDragonwingという系列を展開しています。IQ8・IQ9・IQ10・IQ-Xと段階があり、上位のIQ9はNPUを2つ積んで100 TOPS、IQ10は350 TOPS（いずれも密＝dense条件）を狙うとされています。
この系列の売りは、性能よりも「2036年以降までの供給を約束している」点です。ここは組み込み特有の事情で、少し補足させてください。
工場の検査装置や医療機器は、10年、15年と使い続けます。ところがチップが製造終了になると、修理も増産もできなくなり、基板を設計し直すはめになります。これは莫大なコストです。だから組み込みの世界では、「何年買い続けられるか」がカタログの性能と同じくらい重視されるのです。PCの感覚とはずいぶん違いますよね😳
ロボット向けにはSafety Island（SAIL）という安全専用の区画を内蔵し、20台までのカメラ接続に対応するなど、こちらもヒューマノイドや自律搬送ロボットを見据えた作りになっています。小型機器向けのQ-8750は77 TOPSで110億パラメータ級のLLMまで端末内で動かせるとしています。
Raspberry Pi＋Hailo：1万9千円で試せる
ここまで数千ドルの世界でしたが、個人で試せる価格帯もあります。2026年1月に出たRaspberry Pi AI HAT+ 2です。
HAT（ハット）というのは、Raspberry Piの上に帽子のようにかぶせる拡張基板のこと。この製品はイスラエルのHailo社のHailo-10HというAIチップを載せています。
| Raspberry Pi AI HAT+ 2 | 内容 |
|---|---|
| AIチップ | Hailo-10H（40 TOPS）＋ 専用メモリ8GB |
| 価格 | 130ドル（別途Raspberry Pi 5が必要） |
| 供給予定 | 2036年1月まで生産継続を表明 |
| 得意 | 物体検出などの画像処理、画像＋言語のモデル（VLM） |
1万9千円ほどでAIチップに触れる、というのは魅力的です。……が、ここに今回いちばん考えさせられる実測がありました。
Google Coral：静かに終わっていた
ひとつ、残念な現在地も書いておきます。かつてエッジAIの入門として定番だったGoogleのCoral（Edge TPU）は、事実上、開発が止まっています。
Googleはドライバとファームウェアをオープンソースとして公開したため、監視カメラソフトのFrigateなど有志のプロジェクトが対応を続けている状態です。完全に使えなくなったわけではありませんが、これから新しく選ぶ対象ではなくなりました。性能面でも、いまのAI HAT+と比べると3倍ほど遅いとされています。
組み込みでは10年単位で使うという話をしたばかりですが、「作った会社がやめてしまう」というリスクが現実に起きる——選定でメーカーの本気度を見るべき理由が、ここにはっきり出ていますね😅
「AI減速機」問題と、メモリ帯域の壁
さて、AI HAT+ 2の実測です。海外のレビューサイトCNX Softwareが、Raspberry Pi 5単体（CPUのみ）と、AI HAT+ 2を付けた場合とでLLMの生成速度を比べています。結果がこちらです。
| モデル | AI HAT+ 2 | CPUのみ |
|---|---|---|
| DeepSeek R1 1.5B | 6.72 tok/s | 9.04 tok/s |
| Qwen2 1.5B | 5.89 tok/s | 11.29 tok/s |
| Llama3.2 3B | 2.60 tok/s | 4.78 tok/s |
| Qwen2.5 Coder 1.5B | 8.06 tok/s | 10.26 tok/s |
40 TOPSのAIチップを付けたのに、全部のモデルでCPUだけのほうが速い。レビュー筆者は「AIアクセラレータというよりAI減速機（AI decelerator）のようだ」と書いています。
なぜこうなるのか。理由はメモリ帯域です。AI HAT+ 2に載っているメモリも、Raspberry Pi 5本体のメモリも、同じくらいの速さ（LPDDR4X-4267）しかありません。LLMは1文字生成するたびにモデル全体を読み出すので、いくら計算力が40 TOPSあっても、データが運べなければ意味がないわけです。
これはNPUを調べた回で「NPUがLLMに向かない理由は計算力ではなくメモリ帯域」と書いたことと、まったく同じ現象です。前回ANEに実物のLLMを載せたときも、速くなったのはプロンプトをまとめて処理する部分でした。1文字ずつ吐き出す部分は、どのAIチップでもメモリ帯域に縛られます。
ではAI HAT+ 2に意味がないかというと、そうではありません。消費電力は10.2〜10.6W → 7.2〜7.6Wに下がっています。そしてもともと得意なのは画像処理やVLMのほうです。チップの数字ではなく、何をさせたいかで選ばないと痛い目を見る——この実測は、その良い教訓だと思います。
結局、どれを選ぶのか
ここまでを、用途別の判断表にまとめます。
| やりたいこと | 向いているのは | ひとこと |
|---|---|---|
| ヒューマノイド・大型ロボット | Jetson AGX Thor | VLAモデルを機体上で動かすならこれ一択に近い。130Wを積める体格が要る |
| 中型ロボット・検査装置 | Jetson T3000（2027年〜） | 半分の電力で865 TFLOPS。安全機能つきの版もある |
| 車載・産業機械（安全認証が要る） | AMD Versal AI Edge Gen 2 | ASIL D / SIL 3。性能より「認証が取れるか」で決まる領域 |
| 10年以上作り続ける製品 | Qualcomm Dragonwing | 2036年以降までの供給表明。長期の安心を買う |
| 試作・学習・個人開発 | Jetson Orin Nano Super（249ドル） ／Raspberry Pi AI HAT+ 2（130ドル） | まず触るならここ。CUDA資産を活かすならJetson |
| カメラの物体検出だけ | Raspberry Pi AI HAT+ 2 | 本来の得意分野。省電力も効く |
| 大きなLLMを速く回したい | （エッジ向きではない） | メモリ帯域で頭打ち。素直にクラウドかPCのGPUを検討 |
選ぶときに見るべき順番は、①安全認証が要るか → ②何年供給が必要か → ③電力と大きさの制約 → ④開発環境（CUDAか否か） → ⑤やっと性能、という感じでしょうか。性能が最後というのが、PCの感覚との一番の違いだと思います。
実際に何に使われているのか
最後に、机上の話で終わらないよう、実際の採用先を挙げます。Jetson Thorの早期採用企業として名前が出ているのは以下の顔ぶれです。
| 企業 | 分野・用途 |
|---|---|
| Boston Dynamics | ヒューマノイド「Atlas」に統合 |
| Agility Robotics | ロボット「Digit」第6世代の頭脳として採用予定 |
| Amazon Robotics | 倉庫の次世代ロボット |
| Figure | ヒューマノイド。機体上でAIを動かすことを重視 |
| Caterpillar / Medtronic / Hexagon / Meta | 建機、医療機器、計測、研究 |
| 1X / John Deere / OpenAI / Physical Intelligence | 評価・検討段階と報じられている |
建機のCaterpillarや農機のJohn Deereが並んでいるのが面白いところです。AIが動く場所が、データセンターから畑や工事現場に広がっている——このリストはそれを端的に表していると思います。
まとめ
「組み込みでAIを動かす箱はどれを選ぶか」を調べました。
- TOPSの数字は条件しだいで何倍にも書ける。比べるならビット数と密/疎を揃える
- NVIDIA Jetsonが性能と開発環境で本命。最上位Thorは2070 FP4 TFLOPS・128GB・40〜130W。2026年7月に下位のT3000／T2000が発表され、2027年Q1出荷予定
- AMD Versal AI Edge Gen 2は安全認証（ASIL D / SIL 3）と決定論的な処理が武器。性能勝負ではない
- Qualcomm Dragonwingは2036年以降までの供給表明。組み込みでは「何年買えるか」が性能と同じくらい重い
- Google Coral は事実上終了。メーカーの継続性はリスクとして実在する
- ★40 TOPSのAI HAT+ 2がLLMではCPUより遅いという実測。原因はメモリ帯域で、p953・p954で見たのと同じ壁
調べていて一番おもしろかったのは、選定基準の順番がPCとまるで違うことでした。PCなら性能と価格を見ますが、組み込みでは安全認証・供給年数・消費電力が先に来て、性能は最後です。「10年後も同じチップが買えるか」を心配するという発想は、正直なかった視点でした😳
そしてもうひとつ。AIチップを付ければ何でも速くなる、わけではない——これはNPUの回から前回、そして今回のAI HAT+ 2の実測まで、形を変えて三度ぶつかった話です。計算力ではなくデータの運搬が効くという一点は、どの装置でも共通していました。ここを押さえておくと、カタログの大きな数字に振り回されずに済みそうです。
それでは、今回はここまで。最後までありがとうございました😊
【主な参考】NVIDIA Jetson Thor 製品ページ／NVIDIA Blog「New Jetson Thor Computers」（2026年7月）／NVIDIA Newsroom（Jetson Thor提供開始・採用企業）／AMD Versal AI Edge Series Gen 2／Qualcomm Dragonwing（CES 2026発表）／Raspberry Pi AI HAT+ 2 発表／CNX Software「AI HAT+ 2 レビュー」（LLM実測）／Coral 公式FAQ。いずれも2026年7月時点で確認。仕様・価格・提供時期は変わる可能性があります。