ソニー可搬型ボリュメトリックキャプチャシステム登場

ソニーPCL「清澄白河BASE」のVOLUMETRIC CAPTURE STUDIOとの違い

ソニーのボリュメトリックキャプチャといえば、本社が開発をし現在はソニーPCL「清澄白河BASE」で運用が始まっているVOLUMETRIC CAPTURE STUDIOが思い浮かぶと思う。この「清澄白河BASE」のスタジオではグリーンバックで覆われた空間に100台以上のカメラが設置されている。CM用動画やミュージックビデオの撮影にも使われるくらいの高画質を誇るスタジオだが、その高画質な仕上がりを目指しているが故のコストや処理時間がかかっていた。

今回の可搬型はカメラの台数では1/10以下、さらにグリーンバック等の特殊な背景も不要になっており、CES 2023での展示を見る限り通常の展示スペースに7台の小型センサーが三脚で立てられているだけだ。ボリュメトリックビデオの品質は「清澄白河BASE」には敵わないが、システムが簡素化することで、より多くの用途にボリュメトリックビデオを活用できるだけでなく、また活用方法としても後日のデータ提供だけでなくライブストリーミングにも対応しているなど、ボリュメトリックビデオの民主化を狙っているものと理解できる。

これまでのボリュメトリックキャプチャにおいては、カメラが固定された専用スタジオに被写体が出向き、またデータ処理にも時間がかかるため後日のデータ納品という撮影手順が一般的だった。一方で可搬型ボリュメトリックキャプチャでは、上記のYouTube動画でも紹介があるように、撮影チームがシステム一式を持参し、仮設の撮影システムを構築する出張撮影が可能になっている。テレビ局がスタジオ撮影とロケ（ロケーション）撮影を組み合わせて使っているように、ボリュメトリックキャプチャにおいてもロケ撮影が可能になるということで、既存のスタジオとは相補的な関係になっていると言えるだろう。

カメラの台数を減らせた理由

それでは、なぜソニーはここまでカメラの台数を減らせたのだろうか、開発を担当したソニー新規ビジネス・技術開発本部先端テクノロジー開発部門技術開発部担当部長の田中健司氏に伺ってみた。従来のボリュメトリックスタジオの多くが多数のRGBカメラを使用したMulti-View Stereo方式で3次元再構成をしているのに対して、可搬型ボリュメトリックキャプチャシステムでは通常のRGBカメラと深度センサーを組み合わせることで、深度データも用いてデータを作成している。

この方式によりカメラ台数を減らせ、またカメラ台数が減ることでデータ量も減り、必要なコンピュータの台数も減らせる。それがライブストリーミングの実現に必要なリアルタイム性の実現にも寄与したという。深度センサーを用いることから、その計測可能な距離＝深度レンジが、ボリュメトリックキャプチャをできる範囲になるのも特徴で、本システムが「清澄白河BASE」のスタジオより小型になっている理由でもある。

可搬型ボリュメトリックキャプチャの使用用途

ソニーグループは2021年11月30日に「マンチェスター・シティ・フットボール・クラブとの『オフィシャル・バーチャル・ファンエンゲージメント・パートナーシップ契約』の締結」をしている。今回は、可搬型ボリュメトリックシステムを実際にマンチェスターシティのスタジアムに持ち込み、プロサッカー選手のデモコンテンツを撮影した。

撮影されたデータを使い、仮想空間上にリアルに再現されたチームのホームスタジアムであるエティハド・スタジアム上に選手が３Dで登場するバーチャル・ファンエンゲージメントのデモコンテンツを作成。仮想空間上で、バーチャルの観客がリアルな姿で動く選手を見ながら盛り上がるという、メタバースの新しい活用を提案するデモである。

CES 2023にてソニーはまた、空間再現ディスプレイ（Spatial Reality Display）の27インチバージョンも発表しており、このような3Dディスプレイ向けのコンテンツとしてもボリュメトリックビデオは向いている。つまり、ソニーはボリュメトリックビデオの撮影システムを提供するのはもちろんのこと、ライブストリーミング伝送と、それをメタバースに表示できるシステムの提供や3Dディスプレイを使った表示の提案など、実写3次元コンテンツを一気通貫でユーザに届ける体制を整えている。

今後VRヘッドマウントディスプレやメタバースなどの利用が増えてくる中で、CGだけではなく実写のコンテンツのニーズも増えてくると予想されている。そんな中で、可搬型ボリュメトリックキャプチャが世界各地で利用され、よりコンテンツが増えることを期待している。