NHK技研、ボリュメトリックキャプチャ技術「メタスタジオ」開発

実際の撮影画像（左）と撮影後に画像処理で生成した3次元DG（右）

NHK放送技術研究所（技研）は、新たなスタジオ技術として、被写体の周囲を取り囲むように複数のカメラを配置して被写体を撮影することにより、リアルな質感や実物感を3次元CGで再現できるだけでなく、照明の当たり方を変えるなど、さまざまな演出が可能になるボリュメトリックキャプチャ技術を開発した。

一般的なボリュメトリックキャプチャは、被写体の3次元形状や表面模様の情報を取得し、画像処理により3次元CGとして再現する技術。あらゆる視点で被写体の映像を再現できるため、通常のカメラでは表現できない自由なカメラワークや演出が可能になる。

今回、技研内に開発・設置した「メタスタジオ」は、サーフェスライトフィールド（被写体表面からの光線情報）や反射率などの質感の情報を取得することで、被写体をフォトリアルかつ質感豊かに再現できるという。また、再現した映像に生じた誤差や欠損をAIで補正することで、映像品質を改善できる点も特徴だとしている。

さらに、従来のボリュメトリックキャプチャ用のスタジオでは広範囲をキャプチャするために、多くの固定カメラが必要だったが、被写体の動きに追従するロボットカメラの導入によって、少ないカメラ台数で広範囲をカバーしキャプチャできるという。

今回開発したメタスタジオで実際にコンテンツ制作を行い、後処理の段階で、フォトリアルなまま、任意に視点を変更する、照明を変更する、自由に質感表現を変更するなど、演出の幅を広げられることも確認されたという。今後、映像制作の効率化や斬新な映像表現のため、研究開発をさらに進めていくとしている。