プログラミングや3DCGで何か作りたいと思っているエンジニアがいます
MediaPipeで mp.solutions が無くなり、昔のコードが動かなくなった人向けのガイドです。0.10.21・0.10.31・0.10.35・1.0.0 の4バージョンを実際に入れて、いつ消えたのか、同梱モデルが22個から0個になったこと、face_landmarker.task や hand_landmarker.task をどこから入手してどう使い分けるのかを実測でまとめました。.taskファイルを自分で作る方法まで。
ブログ初期にPythonのMediaPipeで顔・手・姿勢を検出しUnityのアバターを動かしたシリーズ（p610〜p880）から約1年。MediaPipeは今どうなっているのかを調査。旧Solutions APIの終了と新Tasks APIへの移行、顔の52ブレンドシェイプ、OpenPose・MoveNet・YOLO-Pose等との比較、用途別の選び方、過去のUDP連携が今も通用するかまで整理します。
MediaPipeで取った顔・手のランドマークをUDPでUnityへ送り、アバターを動かした記録です。JSONで送る設計、別スレッドで送受信してフレーム落ちを防ぐ書き方、Unityのメインスレッド制約、顔の輪郭4点から向きを計算する方法、ブレンドシェイプでの表情反映、UnityからPythonを起動する仕組み、Blenderとの座標系の違いまでまとめています。
PythonのMediaPipeで顔・手・姿勢のランドマーク検出を試した記録です。現在のTasks APIの書き方を軸に、モデルファイル（.task）の渡し方、顔478点・手21点・姿勢33点の検出、表情の度合い52種類、Webカメラでの動かし方までをまとめ、削除された旧APIとの違いも対比しています。