何か作りたいエンジニアの奮闘記

MediaPipeとUnityをUDPで繋いでアバターを動かす〜顔・手のトラッキングをリアルタイムに渡す〜

MediaPipeで取った顔・手のランドマークをUDPでUnityへ送り、アバターを動かした記録です。JSONで送る設計、別スレッドで送受信してフレーム落ちを防ぐ書き方、Unityのメインスレッド制約、顔の輪郭4点から向きを計算する方法、ブレンドシェイプでの表情反映、UnityからPythonを起動する仕組み、Blenderとの座標系の違いまでまとめています。