声で話せるAIアシスタントを作ってみた〜Whisper+ローカルLLM+VOICEVOXを1つに統合(完全ローカル)〜
マイクで話す→AIが答える→声で返す、を全部Macローカルで。音声認識Whisper・ローカルLLM(Ollama+Qwen2.5)・音声合成VOICEVOXを1つのデスクトップアプリに統合しました。クラウドに送らないのでプライバシー安心・無料・オフラインOK。コード・モデル・設定値・つまずきまで再現できるよう解説します。
プログラミングや3DCGで何か作りたいと思っているエンジニアがいます
マイクで話す→AIが答える→声で返す、を全部Macローカルで。音声認識Whisper・ローカルLLM(Ollama+Qwen2.5)・音声合成VOICEVOXを1つのデスクトップアプリに統合しました。クラウドに送らないのでプライバシー安心・無料・オフラインOK。コード・モデル・設定値・つまずきまで再現できるよう解説します。
クラウド型AIエージェントの『有料・トークン消費が膨大』問題を、完全ローカルで解決できないか試作。Ministral 3 14B(Q4)をllama-cpp-pythonで動かし、Web検索・ファイル読み書き・PC操作(マウス/キーボード)・CLI/MCP・RAG記憶・画像理解を1つのデスクトップアプリに統合。緊急停止と重要操作の確認も実装。Mac(M4)で構築しWindows(RTX3060)でも検証。コード・設定値つきで解説します。
ネット接続なしで動くAIアプリをMacで自作。軽量LLM(Qwen2.5-3B・gguf)をllama-cpp-pythonでデスクトップアプリに直接組み込み、PySide6のGUIで文章生成・要約をオフライン実行。Apple SiliconのGPU(Metal)で約38トークン/秒。インストール・モデル・コード・設定値まで再現できるよう解説します。
p928(Unityで丸の内を夜景化)のUnreal版。PLATEAUの丸の内を広域取り込み(約16,477コンポーネント=東京駅・皇居・堀込み)し、月明かり・星空・ビルの窓・街灯をUnreal流で制作。Lumen・MegaLights・Bloom・Volumetric Fogでリッチな夜景に。窓はプロシージャルEmissiveを5,179棟一括、街灯は3,721灯を自動配置。各機能の設定値とCPU/GPU/メモリ負荷まで実測し、『Unrealの夜景が重い本当の理由=街の物量(ドローコール)』も検証します。
p924でUnrealがMacで重かったのは“全部盛り”が原因。今回はUnreal(5.7)で同じ1シーンの描画設定(Lumen・Nanite・スケーラビリティ)を切り替え、見た目と重さ(GPU時間)がどう変わるかをWindows(RTX3060)で実測。LumenオフでGPUは約3倍軽く、Naniteは見た目そのままでプリミティブ218分の1、スケーラビリティはEpicに落とすだけで見た目ほぼ同じで約2倍速。「Unrealは重い」は誤解だと確かめます。
p929の宿題「Unityも上位パイプラインならUnrealとの差は縮む」を実証。同じシーンをビルトインRP・URP・HDRPの3つで作り、反射・ブルーム・光の回り込み・光芒の見た目と、GPU時間で測ったFPSを同一Windows(RTX3060)で比較。設定は画像+数値で再現でき、いちばん軽いのはURPだった意外な結果やHDRPの露出・ライト単位のクセも解説します。
p921〜923でUnityに取り込んだ丸の内(東京)を、今度はUnreal Engineに「PLATEAU SDK for Unreal」で直接インポート。Blender経由+手作業のUnityと、SDK直接取込を比較。画質(Lumen)は公平な土俵で並べ、同一Windows(RTX3060)で性能も実測しました。
p927で地面・道路・橋梁まで整備したPLATEAUの丸の内を、Unity(ビルトインRP)で夜景化。月明かり・街灯・ビルの窓の光の作り方、窓を計算で光らせる専用シェーダー(簡易版と本格版の比較)、Bloom有り/無しの比較まで、設定値つきで解説します。
建物だけで宙に浮いて見えたPLATEAUの丸の内(東京)に、地形(地面)・道路・橋梁を足して“本物の街並み”に整備。広域データを街の範囲に切り出すコツ、形だけの道路をアスファルト質感で道路らしくする方法、建物との座標・高さ合わせの注意点までUnityの画面付きで解説します。
落ちてくる玉をタップして得点する2Dミニゲームを、Unity(C#)とXcode(Swift/SpriteKit)で全く同じに作成。iPhoneシミュレータで動かし、見た目・操作感・アプリサイズ(164MB vs 240KB)・起動・開発の手間を徹底比較。ゲームエンジンとネイティブの使い分けを結論します。
天気アプリ風を iOS(Swift)・Android(Kotlin)・Flutter(Dart) で全く同じに作り、制作手順・コード・見た目を比較。各シミュレータで何が検証でき何が実機必須か(Bluetooth・カメラ・位置情報・通信)も早見表に。