技研公開2022、メタスタジオやライトフィールドHMD見学レポート。今年はイマーシブメディアに注目

ボリュメトリックキャプチャーのメタスタジオ公開

2022年5月24日にNHK放送技術研究所（技研）の「技研公開2022」を訪問し、 「メタスタジオ」と「ライトフィールドHMD」を見学をさせて頂いたのでその様子を紹介しよう。

メタスタジオの概要については技研の報道資料である「3次元空間の情報をあますことなく取得〜ボリュメトリックキャプチャー技術「メタスタジオ」を開発〜」を参照してほしい。ここでは過去にボリュメトリック撮影技術を用いたARコンテンツ表示アプリや、現在でもバーチャルプロダクション手法を中心とした代官山メタバーススタジオを運営する筆者ならではの見学レポートを残しておきたいと思う。

実空間をまるごとデジタル化するボリュメトリックキャプチャー

ボリュメトリックキャプチャーとは、被写体の3次元形状、表面模様（テクスチャ）、動きを撮影・計測し、3次元CGデータを作成する手法である。従来のビデオ撮影は2次元動画であり、またモーションキャプチャは3次元的動き計測ができるもののテクスチャがなかったりしたところ、ボリュメトリックキャプチャーであれば3次元でテクスチャも動きもあるということで、自由視点映像の抽出やVRなどの3次元的アプリケーションに適したコンテンツ制作ができるところが特徴である。国内大手メーカー各社でも同技術の研究開発は盛んであり、ソニーやキヤノンなども取り組んでいる。

技研のメタスタジオが他社のボリュメトリックキャプチャースタジオと違うのは、3次元形状の取得だけなく被写体のサーフェスライトフィールド（被写体表面からの光線情報）や質感情報（拡散反射率、鏡面反射率、表面粗さ）を取得しているところにある。これらのデータを取得することで、よりフォトリアルな質感表現が可能になるとのことで、デモにおいても被写体である人間のテクスチャを石膏調にしたりメタリック調に変更していた。

　 　　

ボリュメトリックキャプチャーにおいては、後段の処理で複数カメラデータを統合することから、被写体を全周囲から照明条件を一定にして撮影することが多く、照明による演出が難しかったが、このようなサーフェイスライトフィールドを取得しておくことで、照明変更・質感変更の可能性が出てくることに新規性があるそうだ。

ライトフィールドというキーワードで思い出したのは、Googleが2020年に発表した「Immersive Light Field Video」だった。この技術では、46台のカメラで被写体を撮影し3Dデータを作成することで、視聴者が頭を動かすと視点を変えて被写体を見られるようになっている。

通常の1台カメラでの動画撮影だとカメラ位置からの視点でしか被写体を見られずに、たとえば被写体の左右に回って覗き込んだり、一歩引いて俯瞰したりができなかったが、ライトフィールドビデオではそれが可能になっている。このライトフィールドビデオを撮影する際に複数台カメラを使うところはメタスタジオとの共通点であり、複数視点で同一物を撮影することで、より豊かな被写体情報が得られるのであろう。

データ処理は1フレームに約10分

現在のメタスタジオでのデータ処理には1フレームを作るのに約10分かかるということだったが、これはCPUで処理した場合のパフォーマンスであり、GPU処理にすることで高速化を図っていくそうだ。ハードウェアによる高速化に加えて、アルゴリズム等ソフトウェアでの高速化も組み合わせることで、リアルタイム処理が可能となると、ライブストリーミングなどでも使えるようになり、メタスタジオの用途の幅も増えそうだ。

ボリュメトリックデータの画質については課題がある。国内メーカーのボリュメトリックスタジオがミュージックビデオやスポーツ番組での実用を進める過程で、放送に耐えうる画質追求をしている中、メタスタジオでは固定カメラだけではなくロボットカメラを使うことでカメラ台数を減らす方向の挑戦をしたり、先に述べたサーフェスライトフィールドなどの追加テクスチャ情報取得方向に進んでいたりと、純粋なボリュメトリックデータの高画質化だけではない研究も含まれており、より基礎技術研究志向であることを感じた。

NHK技研「ライトフィールドHMD」体験レポート

次に、「ライトフィールド・ヘッドマウントディスプレイ（HMD）」について紹介しよう。このHMDの概要については、技研の報道資料である「快適なVR視聴を目指したライトフィールド・ヘッドマウントディスプレー開発」を参照してほしい。

展示ブースで流れていた説明動画の解説は以下の通りだった。

一般的なVR（バーチャルリアリティ）用HMDでは、液晶ディスプレイをフレネルレンズ等の拡大レンズを通して見るようになっており、元の表示映像はレンズ特性に応じて歪ませてはいるものの、普通に見られる一つの映像ではある。

しかし、ライトフィールドHMDでは、レンズアレーを通して見ることと、その通して見る映像もレンズアレーに合わせて処理されている映像であるから、ぱっと見ではよくわからない映像になっており、それがこの原理の理解が難しいポイントでもある。

ライトフィールドHMDでの奥行きの見え方

体験ブースでは約1分間のCG映像が用意されており、そのCG映像では2人のCGキャラクターが奥行きが異なる位置に立っていた。手前側のキャラクターを見ると手前側がはっきりと見えて、奥側のキャラクターがぼやけて見えた。

また逆に奥側のキャラクターを見ると奥側がはっきりと見えて、手前側のキャラクターがぼやけて見える。

実世界でも人間の目の焦点の合わせ方はこのようになっており、より人間の視覚に近づけたディスプレイであるのだろう。技研としては、従来のHMDでは目の焦点位置がディスプレイ上に合っていることが不自然な知覚であり視覚疲労に繋がるので、その視覚疲労の抑制も期待しているとのことだった。

VR用HMDで必要な視野角や解像度

Oculusを代表とするVR用HMDでは、仮想世界に没入するために、ディスプレイの視野角や解像度が重要になっており、高解像度化、高視野角化を低価格化と合わせて進化してきた。例えば、メタ社の現行版オールインワン型VR HMDであるMeta Quest 2では、片目あたり1832×1920ピクセルの解像度と110°の視野角である。

一方で技研のライトフィールドHMDでは、1440×1440ピクセルのディスプレイで、視野角は44°となっている。またレンズアレイや接眼レンズと自分の眼球の位置によっては、レンズの境目が見えていた。したがって今回のライトフィールドHMDは、狭視野角ではあるが、より自然な奥行き感を再現するのに特化したものと捉えるべきだ。

ライトフィールドHMD用コンテンツ

繰り返しになるが、今回体験できたコンテンツは、ライトフィールドHMD用に特別に作られたコンテンツである。このコンテンツの生成では、HMDで使用しているマイクロレンズアレイや接眼レンズの仕様に合わせて光線追跡法等を用いて要素画像群を作る^※ということで、一般的な360°ステレオ動画や、CGで作られたVRアプリをそのまま体験できるわけではない。新しい仕様のHMDでは、新しいコンテンツの作り方が必要になり、たとえばライトフィールドカメラの進化なども求められてくる。

市販のVR HMDでの高解像度化・広視野角化は、Varjo社のXR-3が片目あたり2880×2720ピクセルのものを発売していたりと、人間の目と同レベルに近づきつつある。そんな中、HMDメーカー各社は、カメラを用いたシースルータイプであったり、センサーを用いたユーザトラッキングやセンシングであったりと、より良い没入感・臨場感を高めるための研究開発を進めている。技研のライトフィールドHMDでは、そんな競争・進化の中で、ライトフィールド技術を小型HMDに実装し、奥行き方向の焦点変更を可能とする新たな体験の提案をしている。

^※前田恭孝・小出大一・久富健介（NHK）「光学シミュレーションを用いたライトフィールドHMDの性能評価」FIT2020（第19回情報科学技術フォーラム）

最後に

技研は、NHK「放送技術」研究所という名前の通り、これまでは放送技術に関する研究が多く、実際に2018年の本放送開始までは8Kスーパーハイビジョンの研究もリードしてきた。ポスト8Kの技術として解像度拡大方向ではなく、各種イマーシブメディア研究という次元数拡大方向に向かっているのは興味深い。放送と通信の融合が叫ばれて久しいが、テレビ放送だけでなく、インターネット配信などにも活用可能な今後の超多次元イマーシブメディアに期待したい。