NHK放送技術研究所 メタスタジオ：ボリュメトリックキャプチャに質感を導入

スタジオフォーマット志向

まず最初に技研のメタスタジオは商業的に外部公開されているスタジオではないことを明記したい。このスタジオは研究開発拠点であり、コンテンツクリエイター等が利用したいと思っても外部案件の撮影には対応していない。NHKという公共放送サービスを提供する組織の研究開発部門として、次世代の映像フォーマットの一つになりうるボリュメトリックビデオを研究し、今後それが国内外で利活用できるようなスタジオフォーマットを構築することが大目的になっている。

したがって、ボリュメトリックキャプチャに関する技術開発の方向性としても、商用可能性を意識した高品質化・データ処理の効率化・高速化よりも、より研究的・学術的価値に向いている。

従来のボリュメトリックスタジオでは得られない表面の質感を取得

技研のメタスタジオが他社のボリュメトリックキャプチャスタジオと違うのは、3次元形状の取得だけではなく被写体のサーフェスライトフィールド（被写体表面からの光線情報）や質感情報（拡散反射率、鏡面反射率、表面粗さ）を取得しているところにある。

これらのデータを取得することで、よりフォトリアルな質感表現が可能になるとのことで、デモにおいても被写体である人間のテクスチャを石膏調にしたりメタリック調に変更していた。

ボリュメトリックキャプチャにおいては、後段の処理で複数カメラデータを統合することから、撮影時には被写体の照明条件を全周囲一定にすることが多く、照明による演出が難しかった。しかしこのようなサーフェスライトフィールドを取得しておくことで、照明変更・質感変更の可能性が出てくる。

具体的には、3Dモデルのテクスチャに反射係数がつけられ、拡散反射や鏡面反射といった光の反射を実現できていた。例えば人間の髪に光が当たると天使の輪のように光る異方性反射が発生するが、そのような反射を表現できるという。

ロボットカメラの導入によって少ないカメラ台数で広範囲をカバー

また、もう一つの特徴として撮影に使用するカメラ台数が26台であり、他のボリュメトリックスタジオが100台近くの台数でやっているのに対して少ないことが挙げられる。これは、各カメラがパン・チルト・ズームできるロボットカメラになっており、被写体の大きさや動きによってカメラ側が動くことで分解能が向上したり、撮影エリアが拡大するというメリットがあるということだった。

ボリュメトリックキャプチャで使用するカメラでは、多量の2次元動画から3次元再構成をするためにステレオマッチングという手法が用いられ、そのためにはカメラやレンズの位置合わせや設定合わせを厳密に行う必要がある。

例えばある一つのカメラの向きがずれてしまったり、フォーカスが外れるだけでも後段の画像処理に悪影響を与えてしまう。そんな厳密なカメラの設置や固定が求められる環境においてあえてカメラを動かすというのはチャレンジングな取り組みといえよう。

拡張ポイントクラウドとデータ処理速度

メタスタジオで生成されるデータは拡張ポイントクラウドと呼ばれる点群データである。商用ボリュメトリックキャプチャスタジオの多くがメッシュ化された3Dモデルも納品データとして提供している中で、メタスタジオでは点群データにしている。データをメッシュ化する過程では、各社オリジナルなアルゴリズムを使って高画質化を競う部分でもあるが、技研ではスタジオフォーマット志向であることから、その後段のメッシュ化部分にはフォーカスをせずに、あえて今後のデータフォーマットとして標準になるであろうポイントクラウドデータの生成に留めている。

現在のメタスタジオでのデータ処理には1フレームを作るのに10分以上かかるということだったが、これはCPUで処理した場合のパフォーマンスであり、GPUやFPGA処理にすることで高速化を図っていくそうだ。ハードウェアによる高速化に加えて、アルゴリズム等ソフトウェアでの高速化も組み合わせることで、リアルタイム処理が可能となると、ライブストリーミングなどでも使えるようになり、メタスタジオの用途の幅も増えそうだ。

2025年頃の放送利用フェーズを目指して研究開発中

このように技研のメタスタジオでは、短期の商用化を目指すのではなく、長期的に利活用可能なスタジオフォーマットを開発するために研究開発が進められている。今後の構想について伺ったところ、2025年頃には研究段階から放送利用フェーズに移行できるようにデータの高品質化や処理速度の高速化を図ったり、また現状はグリーンバックドームで撮影しているところを、LEDドームのようにすることで演者が演技しやすいような環境構築も構想に入っているようだった。