ボリュメトリックとは何か？現在と未来を解説

ボリュメトリックキャプチャとボリュメトリックビデオとは？

ボリュメトリックキャプチャとは、被写体を3次元で動画のように撮影・計測する手法である。ボリュメトリックキャプチャで作成されたデータはボリュメトリックビデオと呼ばれる。英語「Volumetric Video」を直訳すると「容積のある動画」になる。

写真は2次元の静止画であり、動画は2次元の静止画に時間方向のデータがあるのに対して、ボリュメトリックビデオでは3次元データに時間方向のデータもあると説明すれば、実写撮影技術として最先端領域であることは伝わるだろうか。国内外でこのボリュメトリックに関する撮影方法（キャプチャリング）、利用方法（2D映像や3Dデータとして）、伝送方法（送受信、圧縮）の研究開発やスタジオ開設が行われている。

360°の3Dボリュームビデオ撮影を実現

ボリュメトリックキャプチャを行うほとんどのボリュメトリックスタジオでは、被写体を360°囲むように複数台（数台〜数百台）のカメラが設置されている。カメラは数十台から100台以上が正確に同期され、グローバルシャッター搭載のマシンビジョンカメラが使われることが多い。それらのカメラが動いている被写体を撮影し、撮影した2D動画をもとにリアルタイム処理・後処理によって3次元再構成することで、ボリュメトリックビデオができあがる。

ボリュメトリックビデオを作ることは、複数の2次元動画から被写体である元の3次元像を作ることであり、3次元再構成法と呼ばれる。国内のボリュメトリックスタジオの多くでは、RGBカメラを用いて視体積交差法やステレオ法を用いている。また一部であるが、デプスセンサーと呼ばれるカメラから被写体までの距離を計測できるセンサーを用いているところもある。デプスセンサーではセンサーが計測できる距離に限度があるためスタジオが小型にならざるを得なくなり、そういった理由でRGBカメラを使う手法が多い。

できあがる3Dデータとしては、多量の点群であるポイントクラウドデータの場合と、その点と点を繋げて矩形や面にするメッシュデータの2種類がある。ポイントクラウドは点の集合のため、データを拡大していくと点と点の間に隙間が発生してしまうが、メッシュの場合はそういったことは発生しない。一方でメッシュの場合はデータを拡大していっても隙間は発生しないものの、一つ一つのメッシュは曲面にはなっていない矩形から構成されているため、角張ったデータに見えてしまうことがある。どちらの場合においてもデータ量や解像度が十分であればそこまで気づかれないが、拡大する際などは注意が必要だ。

■ボリュメトリックスタジオの構成例

　

　　

• 被写体を360°から撮影（カメラは100台以上の場合もあり）
• 被写体を均一に照らすためのライティング
• 各カメラは同期して映像が記録され、サブスタジオに配置した多数のワークステーションで点群やメッシュの処理を行う

ボリュメトリックビデオを生成することで、一旦撮影した被写体を後からカメラワークやカメラアングルを変えて2Dの動画として書き出せることから、自由視点映像と呼ばれることもある。また3次元のメタバース空間に配置したりARやMR等と組み合わせて利用することで、周囲から見わたせる3Dコンテンツとして利用することもできる。

背景にグリーンバックを使うことも多く、撮影後にその3Dデータを別空間に配置することでまるで別の空間で撮ったかのような映像を作れることからも、バーチャルプロダクションの一手法として位置付けられることもある。

バーチャルプロダクションの代表的な3手法のグリーンバック、LEDウォール、ボリュメトリックキャプチャを以下にまとめた。前者2つが最終成果物は2D映像であるのに対して、ボリュメトリックキャプチャは2D映像＋3Dデータも生成可能なところが特徴であろう。

　 　　

撮影装置の小型化、撮影コストの低価格化でより身近な存在へ

ボリュメトリックデータの利用方法として、自由視点映像として使用する2D映像と、メタバース等の3次元空間で使用する3Dデータの2種類がある。各スタジオでも最終的なデータフォーマットによってレンダリング方法を変えて、より高画質でより自然な画作りを進めているが、大きな課題の一つにライティング問題がある。人間の肌にしても衣装のテクスチャにしても太陽光や照明の当たり方によって色や見え方は変わり、また素材によって光を反射したりもするだろう。

しかし既存の多くのボリュメトリックキャプチャ手法では、撮影時の照明では被写体を一様に照らすことが多く、できあがるデータとしても一様に明るい3Dモデルができる。例えばこのデータを暗いメタバース環境に配置すると、違和感が出てしまうのだ。このような問題を解決する方法の一つにリライティング技術がある。

以下の動画は、Googleによるライトフィールド技術を用いたボリュメトリックキャプチャを紹介したものであるが、Googleは上記のようなボリュメトリックキャプチャにおけるライティング問題の一解決手法を提示している。特殊なライトを用いたボリュメトリックキャプチャ装置を開発することで、後処理においてボリュメトリックビデオのリライティングを可能にしている。

また現在では、大掛かりな撮影装置のあるボリュメトリックスタジオでしか撮影できないが、撮影装置の小型化・可搬化に伴い、撮影コストの低価格化も進み、より多くのボリュメトリックデータが増えることも期待されている。

大型のエンターテインメント向けのコンテンツに使われるだけでなく、YouTube、TikTok等の映像プラットフォームやVRChat、Robloxのようなメタバースプラットフォームなどでユーザー生成コンテンツなボリュメトリックビデオが出てくることも考えられるであろう。

あらゆる映像技術において、その進化の過程で中継やライブ配信が可能になったのと同様に、ボリュメトリックビデオにおいてもそのライブストリーミングが実現されるであろう。そこでの技術的な課題は、データ量が大きくなりがちなボリュメトリックビデオの圧縮や符号化技術であり、それらに対応したエンコーダーやデコーダーの開発、そしてそのデータを高フレームレートで表示できるレンダリング技術等になる。これらの技術でも多くの研究機関やメーカーが開発を進めているので、あと2～3年で民主化されてくると予想している。

このようにボリュメトリックキャプチャの未来というのは、今後どれだけボリュメトリックビデオのニーズが2Dや3Dコンテンツとして増えるかにも掛かっている。特に3Dの業界では、これまでも大きな市場として存在していたゲーム業界はもちろんのこと、VRやMRヘッドマウントディスプレイ向けのコンテンツとしてのメタバース業界なども生まれてきており、それらのプラットフォームにおいてはCGで作られたコンテンツだけでなく実写ベースの3Dコンテンツの需要は高まるだろう。その実写ベースの3Dコンテンツの主役の一つにボリュメトリックビデオが来るのではないだろうか。