何か作りたいエンジニアの奮闘記

MediaPipeとUnityをUDPで繋いでアバターを動かす〜顔・手のトラッキングをリアルタイムに渡す〜

MediaPipeで取った顔・手のランドマークをUDPでUnityへ送り、アバターを動かした記録です。JSONで送る設計、別スレッドで送受信してフレーム落ちを防ぐ書き方、Unityのメインスレッド制約、顔の輪郭4点から向きを計算する方法、ブレンドシェイプでの表情反映、UnityからPythonを起動する仕組み、Blenderとの座標系の違いまでまとめています。

PythonとMediaPipeで画像認識を試す〜顔・手・姿勢のランドマーク検出（Tasks API版）〜

PythonのMediaPipeで顔・手・姿勢のランドマーク検出を試した記録です。現在のTasks APIの書き方を軸に、モデルファイル（.task）の渡し方、顔478点・手21点・姿勢33点の検出、表情の度合い52種類、Webカメラでの動かし方までをまとめ、削除された旧APIとの違いも対比しています。