収録段階で3Dメッシュ出力に対応し、3Dアプリケーションで利用可能

クレッセント社といえば、モーションキャプチャのイメージが先行してしまう。モーションキャプチャの代名詞といえるVICONの代理店の印象が強いからだろうか?

このクレッセントが今、かなり注力しているのが「4Dviews」というボリュメトリックのスキャニングシステムだ。本社にも直径3m、高さ2.4mのキャプチャエリアを持つ4Dviewsのスタジオを設置しているが、今回新たに直径4mにキャプチャエリアを拡大した平野町第二スタジオを2020年12月30日よりオープンした。

ワンフロアの広いスペースに、プリビズも制作できるモーションキャプチャエリア、全身のキャプチャを行えるライトケージ、広いミーティングスペース、カウンターバーまで備えた優雅なスタジオだった。その中でも主役ともいえる4Dviewsのキャプチャスタジオだ。

VOL09クレッセント説明写真
平野町第二スタジオの様子
VOL09クレッセント説明写真

大きなディスプレイ2台と数多くのPCが置かれた前室を通り抜けると、グリーン一色の室内は360°ライトに囲まれ眩いばかりの光を放っていた。ぐるりと囲む4Dviewsの48台のカメラの他にも1600万画素を誇るモーションキャプチャカメラVicon V16も24台取り付けられていた(4DviewsにおいてVICONがどのように機能するかは後述)。

この高さ2.4m、直径4mの中のものは複数名でもキャプチャできるが、表面積が増えるほど、高精細さに欠けるのでひとりずつ取り込む方が精度が上がる。クレッセントの動画で4Dviewsのシステムをシンプルに開設した動画があるのでそれを見てもらうのが一番理解しやすい。

「4Dviewsボリュメトリックコンセプト」の動画を作成したときよりもスキャンのシステムは向上して、今は表面の凹凸を再現するのにもカラー情報を参照することで3Dメッシュの作成の精度を上げている。

キャプチャの範囲は直径4m、高さは2.4mに対応
VOL09クレッセント説明写真
48台のカメラを同期して撮影。極端に明るい部分、暗い部分にマスクが自動的にかかる
VOL09クレッセント説明写真
事前に空画を撮影し、その空画と違う色味を差分としてシルエットを作成。そのシルエットに応じて形状を作成する
VOL09クレッセント説明写真
メッシュの3Dオブジェクトが完成

ボリュメトリックにもいくつかの方法があり、2020年に紹介したキヤノンのボリュメトリックスタジオのように収録時に点群のような処理しやすいデータで収録する方法と、4Dviewsのように収録した段階で3Dメッシュに加工して3Dのオブジェクトにして出力するものがある。

前者は即座に出力出来るというリアルタイム性がある代わりにシステムの中でしか動作しない(後処理で3Dメッシュに加工することは可能)。後者は収録から出力までの処理の時間を要するが、3DオブジェクトのアニメーションになることでUnity、UE4のようなゲームエンジンやMaya、Blenderなどの3Dアプリケーションで読み込むことが可能だ。それによって映像として利用する以外にもAR、VRなど利用の範囲は広い。

ちなみにこれは4Dviewsで撮影されたデータをARCTURUS社のHoloStreamでストリーミング再生環境を実現したもの。ペットの歩いている姿をWeb上で360°どこからでも見ることができ、近づいたり離れたりすることも可能だ。

3次元化できない細いものもモーションキャプチャシステムを同時設置で対応可能

実は今までのボリュメトリックのシステムでは細部のスキャニングは苦手としていた。それが4Dviewsでは女性の小指ぐらいの太さの物体まではスキャニングに対応している。そんな4Dviewsでも苦手とするものがある。先ほど小指くらいのものまでならと書いたように、それ以上細い物体だと上手くスキャニング出来ない場合がある。一番顕著な例は眼鏡だろう。レンズはもちろん難題だが、フレームの部分も苦手とするところだ。

そういった時にVicon V16が力を発揮する。眼鏡をトラッキングしやすい顔のポイントに5mmほどのマーカーを数点付けることで顔の動きに合わせて後処理で眼鏡を載せることが出来る。刀やバトミントンのラケットなども専用のグリップを持つことで対応する。

VOL09クレッセント説明写真
VOL09クレッセント説明写真
VantageのV16モデル

同スタジオのグリーンはいわゆるクロマキー用のグリーンというよりも、空舞台との差分マップでマスクを作成しているため、人物の要素や身に着けるもので一番少ないと思われるグリーンを使用している。カメラやライトなどグリーン以外のものはあらかじめマスクを切ってあるので問題ない。

そして、ボリュメトリックはデータ量がかなり重くなる。このスタジオでも48台の高精細カメラを使用しているため処理時間はかなりのものだ。ただ、それを20台のPCで並列処理させることでスピードアップを図っている。とはいえ処理の負担は相当なものなので、納品データの時間で料金が設定されているのもうなずける。

このクレッセント平野町第二スタジオには全身を3Dスキャン出来るシステムもあり、もちろんモーションキャプチャーも備えている。3Dモデルとして取り込み、モーションキャプチャの動きのデータを反映するという従来の方法もあるのだが、衣装を含めた身体の動きやそれに伴った表情の動きは一緒にテクスチャとして取り込んでいる4Dviewsには敵わない。キャプチャ後も手作業に頼る時間は格段に少ない。

VOL09クレッセント説明写真
平野町第二スタジオ内にある3Dスキャナーのコーナー

ただ、首から下にかけてのリアリティは相当なものだが、顔に関しては人の認識力には追いついていない。どうしても情報量が集中する顔というものは緻密な表現が必要になってくる。これも今後のバージョンアップに期待したい。

ただ、ボリュメトリックの利点として通常のシネカメラの撮影と並行してキャプチャすることも可能なのが面白い。バストショットは2Dのシネカメラで撮影しつつ、4Dviewsを同時収録することでリアリティのある新たな表現が出来るかもしれない。

小林基己
MVの撮影監督としてキャリアをスタートし、スピッツ、ウルフルズ、椎名林檎、リップスライム、SEKAI NO OWARI、欅坂46、などを手掛ける。映画「夜のピクニック」「パンドラの匣」他、ドラマ「素敵な選TAXI」他、2017年NHK紅白歌合戦のグランドオープニングの撮影などジャンルを超えて活躍。noteで不定期にコラム掲載。

◀︎Vol.08 [Virtual Production Field Guide] Vol.10▶︎