バーチャルプロダクションに関連した展示
NAB2022ではバーチャルプロダクションに関連した展示やセッションが非常に注目をされていた。それらは大きく分けてインカメラVFX（In-Camera Visual Effects）とボリュメトリックキャプチャビデオ（Volumetric Capture Video）である。前者はLEDウォールを背景にしてカメラトラッキングを行うもの。後者は複数のカメラで3Dキャプチャして自由視点映像を創り出すものである。
インカメラVFXはコロナ禍で我々がちょっと目を離したすきに飛躍的な進化を遂げている。新しい制作技術であるが、コロナによってスタジオなどに参集して撮影を行ったり、ロケのための移動をできるだけ避けながら、高品質な映像を制作するニーズによって大きく進化を遂げた。まさにコロナの副産物と言ってもよく。
技術的な背景としては、LEDウォールの高解像度化と低価格化がある。1.9ミリピッチほどの大型LEDディスプレイの価格が低下し、カメラで再撮を行ってもモアレやドットが目立つことがなくなってきているからだ。これに加えて、この位置からこういうレンズで撮影したらヌケはこう見えるはずである、という映像を、カメラの動きをトラッキングしながら背景映像をリアルタイムでレンダリング（変形）するビデオ処理システムが現実的なレベルになりつつある。カメラの位置、フォーカスやアイリスなどの情報をメタデータとして取り出し、レンダリングシステムに引き渡す。カメラの位置の測位はマーカーやレーダーなどを用いている。
従来のクロマキーバックを用いた場合には、例えばクルマやガラスなどの反射がある被写体の場合に、反射面に緑などの壁面も同時に写り込んでしまうので、ポスプロ作業でこれらを貼り付け直したりする膨大な手間が発生している。全てをCGで制作するという手法もあるが、実写とは別物であることは言うまでもない。インカメラVFXは合成ではなくあくまでも実写なので、このところの映像制作ではポスプロにかかっていた作業負荷が、プリプロや現場側にシフト、回帰していくことを意味する。そしてトータルの制作の手間が軽減しながら高品質な映像を得られるようになる。
撮影時には特に照明が重要になってくる。LEDウォールはそれ自体が発光体なので、通常の実写撮影のときとは勝手が変わってくる。正確な光源を用意するためには、LEDウォール裏側や天井などにセンサーを設置して測光する場合もある。今後はこの測光データを元にして照明機材をコントロールしていくことになるだろう。
バーチャルプロダクションのもう一つの方向性はボリュメトリックキャプチャビデオだ。つい先日のプロ野球中継でも、カメラが入り込めないようなポジションからの自由視点映像が話題になったところだ。その実現方法は、現場に固定された複数カメラで、映像そのものではなく3次元空間情報としてデータを取得する。このデータを物体の形状や動きなどの3次元情報と、その物体の表面の状態、肌の色や服の質感や色の情報を、物体の形状に合わせてテクスチャーマッピングを行う。
実用段階になったNBAでのボリュメトリックキャプチャビデオ
キヤノンがNABで行ったパネルディスカッションでは、NBAのスタジアム2箇所に常設されたシステムを利用したバスケットボールの中継の例を元に解説を行った。その際に紹介されたビデオがこちらである。現時点での遅延はおよそ3秒とのことだ。
PRONEWSでは2020年10月に、キヤノン川崎事業所のボリュメトリックキャプチャスタジオのレポートをしているので、そちらも合わせてぜひ参照いただきたい。
またこうしたシステムはまだまだ特殊な事例である部分は否めないが、NBAや日本のプロ野球でも用いられはじめているし、さらに驚きなのはこれを扱うベンチャー企業がすでに登場していることである。ニューヨークベースのベンチャーであるEVERCOARST社だ。同社のボリュメトリックキャプチャ技術は、AIテクノロジーではすでに一般的になりつつあるインテルのRealSenseテクノロジーを用いている。同社の3Dデプスカメラはわずか399ドルだ。これを4台利用したフェイスだけを扱うボリュメトリックシステムは5,000ドルで、20台利用する全身バージョンは50,000ドルですでに提供されている。
こういった事例は日本ではまだあまり紹介された例がない。NABでは大企業からベンチャーまでが、最先端技術をそれぞれのレイヤーで競い合う刺激的な場であることを改めて体験することができた。
