プログラミングや3DCGで何か作りたいと思っているエンジニアがいます
手元のMacだけで動くAIエージェントを、何もない状態から6段階で組み上げました。話すだけなら10行、画面まで付けて81行です。同じ道具を4つのモデルに渡すと、Qwen2.5-Coderの7Bと14Bは24回中0回しか呼べませんでした。原因は賢さでも設定でもなく、道具の呼び出しをマークダウンのコードブロックで囲む癖です。文面まで読むと、道具を呼べた3Bも時刻を読み違えており、最後まできれいだったのはMinistral 3だけでした。導入手順、必要メモリと速度、記憶（RAG）とMCPの繋ぎ方まで載せています。
Blender財団が公式に出したMCPサーバーで、AIにBlenderを操作させました。同じ指示を30回与えると、コードは30回とも実行が通るのに、意図どおりだったのは4回（13%）だけ。26回は material.diffuse_color に赤を入れていて、これはビューポートの表示色にすぎず、レンダリングすると灰色になります。渡す道具を「任意のコード実行」から「意味のある3つ」に切り直すと30/30（100%）に変わりました。公式の weak_sandbox が実際に止めるのは10通り中4つだけで、ファイル削除も外部へのHTTPも通ることも実測しています。
AIに自分の道具を渡すMCPサーバーを、公式SDKと手書きJSON-RPCの両方で作って比べました。SDKなら実質7行。ただし起動は226ms対12msで18.4倍かかり、正体はimportの206msでした。道具の失敗はJSON-RPCのerrorではなくisErrorで返ります。さらに、作った道具が「本文の平均264字」というありえない数字を返したことから、サイト内検索が100本中56本の本文を取り込めていない不具合まで見つかりました。
AppleがGame Porting Toolkit 4で、AIコーディングエージェント向けのスキル24本をApache 2.0で配り始めました。中身を読み、その手順どおりにDirectXのシェーダ（DXIL）をMetalのライブラリへ変換し、実機のM4に読み込ませるところまで確認しています。前回のp967では動かせなかったGPTK 4ですが、シェーダ変換だけはWine不要でmacOS 26のまま動きました。再現できるようコマンドと版を全部載せています。
以前『MCPとは』を概念だけ解説しました（p909）。今回はその実践編。自作のローカルAIエージェント（p935）をMCPクライアントにして、自作の最小MCPサーバと公式のfilesystemサーバを道具として繋ぎます。ローカルLLM（Ministral 3・完全オフライン）が自律的にMCPの道具を呼ぶまでを実装コードつきで。道具名の衝突を名前空間で解決するなど、実際にやって初めてわかったハマりどころも正直に書きました。WindowsでもMac共通コードで動作確認済み。
自分のブログ全記事(66本)をローカルLLMに読ませて、"あの記事どこ?"を出典つきで答えるAI検索(RAG)を作りました。以前作ったローカルAIエージェント(p935)への機能追加として実装。記事本文を抽出→チャンク分割→multilingual-e5で埋め込み→ローカルDBに保存し、質問に近い記事を探して記事タイトルとURLつきで回答します。RAGの仕組みを図解し、本文抽出・チャンク分割・ベクトル検索・出典つき回答のキモになる実装コードも掲載。すべてローカル完結で記事データは外に出ません。Macで作ったインデックスDBはコピーするだけでWindowsでも動きました。
以前作ったローカルAIエージェント(p935)の画像機能を強化。写真を『ドラッグ&ドロップ』で複数まとめて渡すと、各画像を説明→タグ付け→画像内の文字起こし(OCR的)まで一括処理。『提案→確認→コピー』の安全なやり方でタグ別フォルダに整理しCSVにも出力。スクショ→画面説明も。すべてローカル完結でネット不要・写真が外に出ないのが強み。D&D／画像をローカルLLMに渡す／安全なコピー整理など再現用のコードも掲載。Mac/Windows同一コードで動作（Windowsの画面撮影はPySideに統一）。
ネット接続なしで動く“オフラインのコーディング相棒”を、以前作ったローカルAIエージェント(p935)への機能追加として作りました。コード特化モデル Qwen2.5-Coder を積み、GUIから使うモデルを切り替え(汎用⇔コード特化)、コーディングモードでコード生成・修正・説明。CLIからも呼べて将来VS Codeからも叩ける薄い入口も用意。クラウドAIとの違い、そして『14BはVRAM12GBのGPUには重く、7Bが最適(実測22 tok/s)』というつまずき、Mac/Windows同一コードで動いた話まで、実際の画面つきで解説します。
以前作ったローカルAIエージェント（p935・Ministral 3 14B）に、音声認識Whisperと音声合成VOICEVOXを統合。声で「◯◯を検索して」と話すと、エージェントが道具を実行して結果を声で返します。全部Macローカル。GPU/CPUの役割分担、音声用の工夫、Windows(RTX3060)でのSmart App Control対策（faster-whisper）まで解説します。
クラウド型AIエージェントの『有料・トークン消費が膨大』問題を、完全ローカルで解決できないか試作。Ministral 3 14B(Q4)をllama-cpp-pythonで動かし、Web検索・ファイル読み書き・PC操作（マウス/キーボード）・CLI/MCP・RAG記憶・画像理解を1つのデスクトップアプリに統合。緊急停止と重要操作の確認も実装。Mac(M4)で構築しWindows(RTX3060)でも検証。コード・設定値つきで解説します。