プログラミングや3DCGで何か作りたいと思っているエンジニアがいます
以前作ったローカルAIエージェント（p935・Ministral 3 14B）に、音声認識Whisperと音声合成VOICEVOXを統合。声で「◯◯を検索して」と話すと、エージェントが道具を実行して結果を声で返します。全部Macローカル。GPU/CPUの役割分担、音声用の工夫、Windows(RTX3060)でのSmart App Control対策（faster-whisper）まで解説します。
マイクで話す→AIが答える→声で返す、を全部Macローカルで。音声認識Whisper・ローカルLLM（Ollama＋Qwen2.5）・音声合成VOICEVOXを1つのデスクトップアプリに統合しました。クラウドに送らないのでプライバシー安心・無料・オフラインOK。コード・モデル・設定値・つまずきまで再現できるよう解説します。
OpenAI WhisperをMacのApple Silicon上で動かし、日本語音声を文字起こしするアプリを作りました。tiny/base/small/mediumの4モデルを実測比較。「AIが愛に誤変換される」など日本語特有のハマりポイントも紹介します。