MediaPipeで mp.solutions が無いと言われたときの直し方〜Tasks APIへの移行手順と .task モデルの入手先〜
MediaPipeで mp.solutions が使えなくなったときの直し方。0.10.31での削除と同梱モデル22個→0個の変更、Tasks APIへの書き換え手順、face_landmarker.task などモデルの入手先、.task の中身まで実測つきで解説
プログラミングや3DCGで何か作りたいと思っているエンジニアがいます
MediaPipeで mp.solutions が使えなくなったときの直し方。0.10.31での削除と同梱モデル22個→0個の変更、Tasks APIへの書き換え手順、face_landmarker.task などモデルの入手先、.task の中身まで実測つきで解説
ブログ初期にPythonのMediaPipeで顔・手・姿勢を検出しUnityのアバターを動かしたシリーズ(p610〜p880)から約1年。MediaPipeは今どうなっているのかを調査。旧Solutions APIの終了と新Tasks APIへの移行、顔の52ブレンドシェイプ、OpenPose・MoveNet・YOLO-Pose等との比較、用途別の選び方、過去のUDP連携が今も通用するかまで整理します。
MediaPipeで取った顔・手のランドマークをUDPでUnityへ送り、アバターを動かした記録です。JSONで送る設計、別スレッドで送受信してフレーム落ちを防ぐ書き方、Unityのメインスレッド制約、顔の輪郭4点から向きを計算する方法、ブレンドシェイプでの表情反映、UnityからPythonを起動する仕組み、Blenderとの座標系の違いまでまとめています。
PythonのMediaPipeで顔・手・姿勢のランドマーク検出を試した記録です。現在のTasks APIの書き方を軸に、モデルファイル(.task)の渡し方、顔478点・手21点・姿勢33点の検出、表情の度合い52種類、Webカメラでの動かし方までをまとめ、削除された旧APIとの違いも対比しています。