MediaPipeとUnityをUDPで繋ぐ -その5-
前回の投稿から約1ヶ月ほど空きました。両手もモデルを使えるように試行錯誤していました。MediaPipeのそもそもの精度の問題なのか、どうしても納得いく制御ができず🥺ある程度の形になったところで区切ることにし...
プログラミングや3DCGで何か作りたいと思っているエンジニアがいます
前回の投稿から約1ヶ月ほど空きました。両手もモデルを使えるように試行錯誤していました。MediaPipeのそもそもの精度の問題なのか、どうしても納得いく制御ができず🥺ある程度の形になったところで区切ることにし...
前回までは、顔のオブジェクトはUnityで作っていましたが、今回はBlenderで顔を作ってBlendShapeを適用してみました☺️手はLandmarkを繋ぐように、Sphereを引き延ばして手の輪郭を作りました。
UnityからPythonファイルを実行する方法と、少し滑らかに動かす仕組みを作ったので紹介します☺️顔や手が認識できなくなったとき、オブジェクトが残っていると違和感があるので、消すようにもしました。
faceのblendshapeや、handのlandmarkを使用し、オブジェクトをイイ感じに動かせるようになりました。その方法を紹介します☺️前回からの変更点は以下の通りです。
ようやくUnityとUDP通信で接続するところまでできたので、その方法を共有します☺️Unityとの接続にあたって、前回からいくつか変更点があります。
前回までで、MediaPipeの基本的な使い方がわかりました☺️最終的にはUnity上で動かすことを目指しているので、今回はUnityに渡すところを作っていきます。
前回までで、MediaPipeの一通りの機能を体験することができました☺️と、思ったら・・・2024からソリューションが新しくなり、前回まで書いていたコードは旧ソリューションの方法だったことが判明😖
前回、MediaPipeで顔と手のトラッキングを試してみました。まだ他の機能もあるようなので、どんなものなのか、やってみようと思います。
自分自身の姿のかわりに、キャラクターの姿で仮想空間に登場させることができる、アバター。面白そうでやってみたいなーと思っていたので、作ることにしました☺️
前編に続き、Pythonの基本機能についてのお話です。今回はオブジェクト指向の要素の1つ、クラスにも触れています。