Live2D+FaceRigで初音ミクになってみる

わざわざ動画で３０歳を超えた小太りのオタクのオッサンの面を見ていたいという人はさほど多くないだろう。ただ楽して動画に合わせたリアクションは欲しい。そんなわけで、自分の描いた絵を3Dモデルとして起こして、ウェブカメラで撮影した自分の表情に合わせて動かしてみる。そんな風に言うと複雑そうだけど、Live2DとFaceRigを使えば簡単にできる。
レイヤーに分けて絵を描くことができるなら、それ以外の作業はまとめて１時間もあればできる。

ちなみに完成品はこんな感じ。
オッサンの顔が見えないのでわかりにくいが、内側ではオッサンが初音ミクと同じような表情を作っている。

今回の全体図はこんな感じ。

Webカメラと3Dモデルを対応付けるのはFaceRigという\1,480で売っているソフトで行う。これはWebカメラさえつなげればカメラに映っている人の表情を読み取って、3Dモデルに反映してくれるというもの。もともとゲームの実況なんかのために作られたものなのでSteam上で売っている。シンプルなソフトなので悩むところはない。

今回はこのFaceRigで使う3Dモデルを作るのだけど、そのためにLive2Dという2Dの絵を簡単に3Dっぽく起こすソフトを使う。こっちはFaceRigに比べるとややこしいところもあるが、日本のメーカーが作ったものなので日本語のドキュメントや解説動画がある。ちなみにLive2D moduleというのがFaceRigでLive2Dのモデルを使うためのもので、FaceRigのDLCとしてSteam上で\398で売っている。買えば勝手に使えるので特に気にすることもない。

Live2D

Live2Dはもともと2Dの画像に、ゲームの立ち絵アニメーションみたいなちょっとした瞬きとか、口の動きみたいなものを簡単につけられるようにするソフトっぽい。一応個人ならFree版を利用することができる（機能制限はある）。

使い方については公式のチュートリアルが充実しているので以下など見ると良い。

http://sites.cybernoids.jp/cubism2/video/workshop

私の制作動画で行っていることとしてはPSD形式でレイヤーごとに絵を取り込んで、それにFaceRig用のテンプレートを適用してだいたいの動きを設定したあとで、横を向いた時のりんかくや、口の開き方など上手く動かない箇所を細かく直すという感じだ。

動きの調整については、口が閉じてる⇔口が開いている、右目が笑っている⇔右目が笑っていない、みたいに各表情や顔の向きごとにキーフレームが振ってあるので、そのキーの位置に対応する表情になるように3Dモデルの向きや、各頂点の位置を引っ張ったりするだけである。私は3Dモデルの作成の経験は殆どないが、それでも特に違和感なく作業をすすめることが出来た。

調節ができたら、mocファイルの書き出しを選んでモデルを書き出す。ファイルは複数ファイルが出力されるので、あたらしくフォルダを作成した方が良い。

FaceRigへの取り込み

FaceRigへの取り込みは、単純にモデルが格納されているフォルダを追加することで行う。

フォルダの配置場所はSteam上のFaceRigのプロパティ＞ローカルファイル＞ローカルファイルを閲覧から、Mod\VP\PC_Common\Objects以下に任意のフォルダ名で作成する。このフォルダ名は、さっき出力したファイルの名前と一致している必要がある(miku.mocで出力したならmikuというフォルダ名である必要がある）。

作ったフォルダ内にLive2Dで出力したファイル＆フォルダを置けば取り敢えず動かすことはできる。このほか、ico_(フォルダ名).pngでサムネイルを作ったり、他のモデルの情報を見る限り、モデル名や概要の設定を書いたり、表情では出せない特殊動作のモーションを作ったりできるようだが詳しく調べていない。ともあれ、他のモデルのフォルダを設定方法なんかはたぶんわかると思う。

FaceRigからの出力

というわけでFaceRigで動作させることはできるようになった。
通常のゲーム実況などなら、ゲーム画面の右下なんかにそのままFaceRigの画面を置いておけばWebカメラ付きの実況みたいな感じになるだろう。その他の用途に使う場合は、録画をファイルとして出力するか（ただ形式がwebm限定なのでやや辛い）、ブロードキャストを選べばWDM形式のWebカメラとして動画を出力できるので、ほかのソフトを使って合成したり録画したりすればよい。

今回の私の動画の場合、動画の編集を終えたあとで、FaceRigを音声検知のリップシンクに変更して、編集後の動画を再生しつつ表情だけWebカメラから取り込み、その動画をブロードキャストしてAG-Webカメラレコーダーというソフトで録画している。FaceRigは背景をグリーンバックにできるので、それに設定して、編集時にクロマキー合成でキャラクターだけにしている。

というわけで、ざざっと説明したが、自分の書いた絵が自分の表情に合わせて動くというのは、なかなか面白い感じがするものなので、みんなもためしてみると楽しいと思う。

＊