撮影・生成・表示を一貫支援する空間キャプチャーソリューション登場

ソニーは、空間コンテンツ制作を支援するソリューション群「XYN（ジン）」において、法人向けの空間キャプチャーソリューションの提供を開始する。日本国内では4月18日より開始し、米国市場へも順次展開していく方針だ。

本ソリューションは、現実空間を高品質な3DCGアセットとして生成し、制作から表示、活用までを一貫して支援するものである。撮影支援、3DCGアセット生成、バーチャルプロダクション向け表示の各工程をカバーする、3つのソフトウェアツールによって構成される。

この背景には、バーチャルプロダクションや映像制作に加え、製造業やゲーム開発などでも空間コンテンツの需要が高まっていることがある。一方で、3D CG制作には専門的な知識と技能が求められ、制作に時間と手間がかかるという課題があった。ソニーは2025年1月の発表後、同年11月に開始した「ベータ版」による先行活用の知見をもとに開発された先行プロトタイプを用いた検証を重ね、そのフィードバックを踏まえて今回のソリューションを整備したという。

本ソリューションは、複数枚の写真から現実空間を3D CGアセットとして生成し、実制作の現場で活用できるようにするものだ。用途としては、ゲームや映画向けのCGオブジェクト制作、デジタルアーカイブ、展示用途、製造業におけるシミュレーションなどが想定されるが、現時点で主な対象としているのはバーチャルプロダクションである。実在の空間をCG化し、背景として活用しながら映像制作を行う用途を、最初の重点分野に位置付けている。

空間撮影を支援する「XYN Spatial Scan Nav」

構成する3つのツールのうち、撮影工程を支援するのが「XYN Spatial Scan Navi（ジン・スペイシャル・スキャン・ナビ）」である。同ツールはミラーレスカメラによる空間撮影をサポートするスマートフォン用アプリケーションであり、ソニー製デジタル一眼カメラ「α」シリーズの特定モデルと接続して使用する。スマートフォンをナビゲーション端末として活用し、撮影すべき位置や角度を可視化して案内する機能を備えている。

特徴としては、ARナビゲーション機能、撮影の過不足を確認しやすくするプレビュー機能、さらに撮影を支援するスマートアシスト機能が挙げられる。バーチャルプロダクション用途では、およそ100枚程度の写真撮影が必要になる場合があり、撮影品質が撮影者の経験や技能に左右されやすい。こうしたばらつきを抑えるため、ARガイドを用いて撮影位置を提示し、誰でも一定の品質で撮影しやすい環境を整える。

加えて、撮影時には画像データだけでなく、撮影状況や環境に関するメタデータも取得する。これらの情報を後段の生成工程で活用することで、生成の効率と品質の向上を図る。撮影支援だけでなく、その後の3D化まで見据えて設計されたアプリケーションである。

高品質3D生成を担う「XYN Spatial Scan」

生成を担うのが「XYN Spatial Scan」である。これは、現実空間を高品質な3D CGアセットへ変換するクラウドアプリケーションで、ソニー独自の3Dアルゴリズムを採用する。2D画像から3Dへ変換する処理を通じて、バーチャルプロダクションに対応する品質のアセット生成を可能にする。

ソニーはこの品質を、巨大なLEDディスプレイ上での表示に耐え、現実空間と見紛うレベルの描写ができる水準と位置付けている。その要件として、高解像度であること、HDR表現に対応すること、映像制作に必要なリアルタイムレンダリングに適したデータであることを挙げる（HDR表示を前提とした生成はベータ版）。これらを満たすアセットを、独自アルゴリズムによって生成するという考え方である。

具体的には、遠景の建物や手前の細い手すりのような細部、あるいは透明なガラスのような再現が難しい要素について、従来手法で生じやすかった欠損やノイズを抑えながら再現性を高めるという。また、撮影時間帯や露出変化によって生じやすい明るさの揺らぎやノイズについても、安定した品質で処理できるようにしている。これにより、生成後の手直しや修正に要する工数の削減を狙う。

このソリューションは空間全体の背景アセットだけでなく、小物やプロップのようなオブジェクト生成にも対応する。例えば、椅子のように細い線材を含む形状や、光沢・反射を伴う素材についても、形状や質感をできるだけ維持したまま3D CG化できるようにしている。従来は高性能なワークステーションが求められやすかった工程を、クラウド環境上で扱えるようにすることで、一般的なオフィスPCでも作業しやすい運用を目指している点も特徴である。

リアルタイム表示を担う「XYN Spatial Renderer Plugin」

表示を担うのが「XYN Spatial Renderer Plugin」である。これは、生成した3D CGアセットをバーチャルプロダクション環境でリアルタイム表示するためのレンダリングプラグインで、高画質なVP撮影に対応することを主眼としている。ゲームエンジンやメディアサーバー環境での運用を前提に、制作意図を反映しやすいユーザビリティも重視した。

ソニーによれば、従来のバーチャルプロダクション向けに最適化されていない表示系では、カメラの角度や距離の変化によって画が不安定になりやすいという課題があった。これに対し、本プラグインではカメラが自由に動く状況でも、距離やアングルの変化に左右されにくい安定した描画を目指す。また、HDR表示によって広いダイナミックレンジを活かした映像再現を可能にするという。

被写界深度の表現にも対応し、遠景まで解像感を保ったアセットを背景に用いることで、自然なボケ表現を伴う撮影が行いやすくなるとしている。さらに、Unreal Engineのカラーコレクションやカラーグレーディング、ライティング調整などの機能と連携し、撮影段階で色やトーン、光の表現を調整できるようにする。別途制作したCGと組み合わせて、現実には存在しない要素を空間内に追加し、新たな背景空間として構築することも可能だ。

描画解像度やパフォーマンスの最適化にも対応し、撮影環境ごとに異なる要件へ対応する。対応環境としては、まずUnreal EngineとDisguiseをサポートし、今後はほかのメディアサーバーとの連携拡大も進める計画である。バーチャルプロダクション向けの各種ツールセットと組み合わせることで、制作全体のワークフロー効率化も視野に入れる。

制作工程を一貫支援するソリューション展開

ソニーは、これら3つのアプリケーションを通じて、撮影、生成、表示までを一連の流れとして支援する考えを示した。今後は、写真撮影後の処理や生成後の編集など、制作工程の各接点で活用できるツール群として展開を広げる方針である。あわせて、バーチャルプロダクション以外の用途にも適用範囲を広げていく考えだ。

NABの会場では、これら3つのソフトウェアについてハンズオンセッションを実施する予定であり、バーチャルプロダクション関連エリアでも関連セッションを展開する。今回の発表は、空間コンテンツ制作の工程を分断された個別作業としてではなく、撮影から活用までを通した制作基盤として整理し直す提案と位置付けられる。