ボリュメトリックビデオのキーワード解説

自由視点映像

ボリュメトリックキャプチャによって生成された3Dデータは、撮影後の後処理にて被写体の上下左右前後の自由な視点からの2D映像としてレンダリングできることから、自由視点映像と呼ばれることもある。古くは当時米国カーネギーメロン大学の金出武雄教授らがEyeVisionと呼ばれる技術を開発し、2001年1月に開催されたアメリカンフットボールの大会「第35回スーパーボウル」で使われて話題になった。

3Dスキャン

ボリュメトリックビデオは時間方向に動くビデオ＝動画であるが、3Dスキャンは建物の屋内外やモノなどの静止物の形状＋テクスチャをキャプチャする技術であり、生成されたデータが動くことは想定されていない。3Dスキャンを行うためには、被写体の表面のテクスチャを撮影するためのRGBカメラと、被写体の3D形状を計測するためのスキャナー（レーザー、ライダー、赤外線等）を併用する。

フォトグラメトリ

フォトグラメトリは写真測量法とも呼ばれており、多量の写真＝静止画像より3Dモデルを生成する手法である。撮影は一般的なデジタルカメラで行って、その写真データをフォトグラメトリ専用のソフトウェアで処理をすることで3Dデータが得られる。使用ハードウェアが市販のカメラやパソコンであることから、気軽に3Dモデルを作れる手法でもある。被写体が静止していることが前提になっている。

モーションキャプチャ

ボリュメトリックキャプチャが被写体の動きとテクスチャ（実写）を同時に撮るのに対して、被写体でも特に人間の動きだけを取る方法のことをモーションキャプチャと呼ぶ。VR用のヘッドマウントディスプレイ（HMD）では、HMDと手に持つコントローラの動きや傾きが取れることで、画面内に映る自分＝アバターの頭や手が、HMDとコントローラの物理的な動きに応じて動くのはモーションキャプチャの一例である。

ライトフィールドカメラ

ライトフィールド（Light Field）カメラとは、直訳すると光線場を記録できるカメラということになる。通常のカメラのセンサーでは、そのセンサーに入ってくる光の強さや色を記録するのだが、その際に光が入ってくる角度までは記録できない。その角度も含めて記録することで、撮影した写真のフォーカスを後処理で変更したり、照明変更・質感変更なども可能になるのがライトフィールドの活用方法である。

デプスカメラ

カメラから被写体までの距離を計測できる装置のことをデプスカメラと呼ぶ。以下の表は2020年の時点で発売されていたデプスカメラの例であるが、その深度の計測方法にもいろいろな手法があるのがわかると思う。上述した3Dスキャンにおいても、専用の3Dスキャナーだけではなく、これらデプスカメラが用いられることもある。

■3Dスキャンに用いられるデプスカメラ（深度センサー）例

視体積交差法（Visual Hull）

ボリュメトリックキャプチャに用いられる基本的なデータ処理アルゴリズムの一つが視体積交差法である。視体積交差法では、同期したカメラで複数枚の2次元シルエットを撮影し、カメラ位置を頂点としてシルエットが断面となる視体積を作り、シルエットを3次元空間に逆投影し、その交差部分として3次元形状を復元する手法である。Shape from Silhouetteとも呼ばれる。

点群（ポイントクラウド）

ボリュメトリックビデオのデータフォーマットの一つが点群（Point Cloud）である。点群とは、カメラやセンサーで取得したデータの最小単位を点とし、(x、y、z)といった3次元座標と(r、g、b)といった色情報を一つの点が持つ情報として、それが集合となって群になっている。この3次元の点群データが、動画のように時間方向に続く。

メッシュ

ボリュメトリックビデオのデータフォーマットのもう一つが点と点を結んで面にしたメッシュである。点群データはズームアップしていくと点と点の間に空間が存在するが、メッシュデータでは各点が頂点となり、辺や面によって繋がっている。点群データからメッシュデータに変換する手法もいくつかあり、その過程でノイズ除去、スムージング、補間、超解像的創造等を行うこともあり、データの高画質化・高精度化が実現される。

リライティング（Relighting）

ボリュメトリックビデオのテクスチャは撮影時の照明条件を反映したものであることが多く、その3Dデータを撮影時とは全く異なる照明環境で使用する場合は、テクスチャの明るさ、色、陰影などが再現されない。その問題を解決するのがリライティング技術である。リライティングが可能な3Dデータでは、テクスチャデータに反射係数がつけられ、より再現力が高いボリュメトリックビデオデータになる。