手探りでモーショントラッキングをやってみる

一言でモーショントラッキングといっても、

1. カメラモーションを追従する
2. 人や動物などの動きを追従する
3. 表情を追従する

があるようで、絶対位置をどこに定めるかによって手順が違う。

カメラトラッキング

カメラトラッキング（またはマッチムーブという場合もあるらしい）は、

• カメラで撮影した動画から目標となる点を選択し
• 仮想３D空間上のカメラオブジェクトのモーションを生成する

P〇kimonGOなどのAR（拡張現実）に使われてるのがこっち。
下の動画のように、実際の映像に３Dオブジェクトを合成するときに使います。

BlenderGURUのチュートリアルの手順でカメラトラッキングをやってみた


Introduction to Camera Tracking in Blender(英語)
翻訳はそのうちやります

モーショントラッキング

３Dオブジェクトの動きを、カメラの映像から生成するというもので、

Kinectを使ったモーションキャプチャなどがこちらの例。

また、体全体でなく顔のみの場合も同様。

ただしカメラで撮影する対象は顔にズームされて、下半身の動きは切り捨てられる

（おそらくFacerigはこのやり方）

実際のカメラは固定されている場合が多いが、今回やってみたところ固定されていなくてもモーションへ反映させることは可能っぽい。
また、Kinectのように奥行き方向の情報がないので、何かしらの方法で変換する必要があります。（今回の場合は、動かない軸は０度に固定）

とりあえず金閣の動きに追従するミクさんが出来上がりました。追従してるのは、センターと下半身、上半身、頭、右腕のみですが。

現時点ではまだ手探り状態なので、細かい説明は後日ブログに書きます。（書くかもしれません。めんどくさいので書かないかもしれません）