ソニーPCLイベントレポート。写真から高品質3DCGを生成するソニーの独自技術

ソニー独自の3DCG生成技術とVP活用

最初のセッションでは、ソニーPCLでVPスーパーバイザーを務める石川智太郎氏と、技術開発をリードするソニーの高橋紀晃氏が登壇した。

石川氏は、まずVPの主要な手法である「インカメラVFX」と「スクリーンプロセス」について解説した。インカメラVFXは、3DCG空間をLEDウォールに投影し、カメラトラッキングと連動させることで、バーチャル空間とリアルな被写体を一つの3次元空間として扱える利点がある。しかし、CGセットと同様の制作フローが必要なため、制作時間に課題を抱えている。一方、スクリーンプロセスは、撮影された実景映像を背景として使用するためリアリティは高いが、カメラの動きに大きな制限がある。

今回紹介されたソニー独自の3DCG生成技術は、この二つの手法の「いいとこどり」を目指したものだ。写真を元に3D空間を生成するため、実景のリアリティを持ちつつ、インカメラVFXのように3次元空間として自由なカメラワークで撮影できる。

　 　　

続いて登壇したソニーの高橋（紀）氏は、この技術について詳しく解説した。AIを活用して複数枚の写真からフォトリアルな3DCGデータを生成する、いわゆるNeRFや3DGSといった技術をベースに、ソニーが独自に開発したものである。この技術は、従来のフォトグラメトリーが苦手とするガラスなどの透明な物体の再現や、光の反射・透過表現に優れている。

　 　　

　 　　

ソニー独自の技術は、「画質」「表現力」「制作スピード」の3つの点で大きな特徴を持つ。

　 　　

画質面では、高精細でノイズが少なく、屋外のような光の変化が多い条件下でも安定して高品質な3DCGモデルを生成できる。

　 　　

表現力については、映像制作に重要なHDR（ハイダイナミックレンジ）や、レンズのボケ味を後から調整できるレンダリング技術を開発。これらをリアルタイムでLEDウォールに表示するため、Unreal Engine用のプラグインも独自に開発している。

　 　　

そして、最大の強みである制作スピードだ。撮影ナビゲーションアプリを用いて100〜200枚程度の写真を撮影し、AIモデリングソフトウェアで処理、Unreal Engineプラグインで調整するというワークフローにより、従来は数ヶ月かかっていたフォトリアルな背景アセットの制作を、数日内に完了させることができる。これにより、作品のクオリティ向上により多くの時間を割くことが可能になる。

　 　　

この技術はすでに、TBSドラマ制作チームとの技術検証や、NHKの連続テレビ小説「あんぱん」での戦後の風景描写、そしてOoochie KoochieのMV「ショーラー」で広島をテーマにした背景制作などに活用されている。この秋からの本格運用を目指しており、企画段階からの相談を歓迎しているとのことだ。

　 　　

MV「ショーラー」制作事例トークセッション

続くセッションでは、奥田民生と吉川晃司のユニット「Ooochie Koochie」のMV「ショーラー」の制作事例について、実際に制作に携わったプロデューサー、エンジニア、開発者が登壇し、その詳細を語った。

今回のMVは、2人の故郷である広島の様々なロケーションを背景に撮影するという企画であった。制作は2025年3月上旬から始まり、広島でのロケ撮影を2回に分けて実施。撮影した写真素材から3DCG背景アセットを生成し、その間にテスト送出を挟んでクオリティを確認しながら進められた。最終的な本番収録は、アーティストがスタジオ入りしてからわずか3時間という短時間で完了したという。

　 　　

登壇したソニーPCL エンジニアの水野圭輔氏は、「ワンシーンあたりの撮影時間が短いため、LEDの配置やポーズの調整に時間を割くことができた。また、1日に複数のロケーションを回ることができ、結果的に2日間で全11シーンを撮り切れた」と、その効率性を語った。

　 　　

開発を担当したソニーの高橋宏彰氏は、ロケの合間にテスト送出を行い、監督やカメラマンからのフィードバックを次の撮影に反映させる「イテレーション（反復）」が可能だった点を、この技術の強みとして挙げた。

同じく開発担当であるソニーの櫻井裕音氏は、1シーンあたり複数のバリエーションを撮影し、全30パターンほどの3Dモデルを作成したと明かした。モデリング作業が非常に簡単なため、タイトなスケジュールの中でも余裕を持って準備ができ、テスト送出でのフィードバックを受けてさらに品質を追い込むという、ポジティブなサイクルが生まれたと述べた。

背景素材の撮影は、現地での位置決めから始まり、「撮影ナビ」と呼ばれるアシスタントアプリの設定、リファレンス撮影、そして本撮影という流れで行われ、1ロケーションあたり平均1時間以内で完了したという。

　 　　

　 　　

高橋（宏）氏は、「この技術の強みは短時間で撮影できること。日照条件の変化や予期せぬトラブルが起こる前に素早く撮り終えることが重要だ」とポイントを語った。

また、撮影の専門知識がなくても、撮影ナビアプリが最適な設定や撮影ポイントをガイドしてくれるため、誰でも高品質な3Dモデルにつながる撮影が可能であると、櫻井氏は説明した。

　 　　

現場では、最終的にLEDスクリーンに映し出される範囲をAR（拡張現実）で表示する機能が活用された。これにより、監督は絵コンテと比較しながら、手戻りのない撮影を進めることができた。人通りや車の通行がある場所でも、複数のアングルから撮影した画像を用いて動いている物体を消去する処理が可能なため、大規模な交通規制などを行う必要がなく、ロケのハードルが大幅に下がった点も大きなメリットとして語られた。

　 　　

ただし、現状では川の流れのような、常に動きがある被写体のモデリングは難しいという制約もある。一方で、CGで一から作ると複雑になる建造物などには非常に適しており、従来の手法との使い分けが有効であるとの見解が示された。

制作体制は監督、プロダクションマネージャー、撮影者といった最小3〜4名のコンパクトなチームで実施可能であり、機動的な撮影ができる点も魅力である。

　 　　

セッションでは、実際にMVで使用された広島の様々なロケーションの3DCGアセットが公開された。人通りの多い商店街のアーケード、ギターの弦まで再現された楽器店、そして水の表現が難しかったという高校のプールなど、いずれも高いクオリティで再現されていた。

　 　　

　 　　

特に、屋外スタジアムのシーンでは、暗い部分から明るい部分までを豊かに表現できるHDR収録が威力を発揮した。日向と日陰のコントラストが激しい場所でも、黒つぶれや白飛びすることなく、立体感のある映像表現が可能になったという。

　 　　

また、電車の車庫のシーンでは、フォトグラメトリーが苦手とするガラスの質感や反射までが見事に再現されており、カメラワークに合わせて反射が変化する様子は、まるでその場にいるかのようなリアリティを生み出していた。

　 　　

「スマートVPステージ」とキャンペーン

最後に、ソニーPCLでマーケティングを担当している櫛山健一郎氏より、「スマートVPステージ」と題した新しいプロジェクトが紹介された。これは、CMのワンシーンだけVPを使いたい、あるいは小規模・少人数の体制で制作したいといった多様化するニーズに応えるため、設備と人員を最小限に抑えた高効率なVPスタジオを提供するプロジェクトである。

　 　　

第一弾として、TREE Digital Studioと共同で、神奈川県横浜市に期間限定のスタジオを開設した。このスタジオは、ソニー製のCrystal LED VERONA（1.5mmピッチ）を使用したL字型のLEDウォールをメインに、反射用の可搬型LEDなどを組み合わせたコンパクトな構成となっている。インカメラVFX撮影から自動車の走行シーンまで幅広く対応可能で、すでにいくつかのテストシューティングが行われている。

　 　　

また、ソニー独自の3DCG生成技術を活用した背景アセット制作のトライアルキャンペーンも発表された。2026年3月31日までの期間中、VP撮影を希望する場合、背景アセットの撮影から制作、送出までを約30万円からというキャンペーン特別価格で提供する。条件として、制作した背景アセットをソニーPCLの「バックドロップライブラリー」に提供することになるが、従来数百万円かかっていた制作費と比較すると、非常にリーズナブルに最新技術を試せる内容となっている。

このキャンペーンは、「清澄白河BASE」に加え、この秋からは前述の「スマートVPステージ」での適用を予定している。

VP制作の「時間」と「コスト」を解決

今回ソニーPCLが披露したソニー独自の3DCG生成技術は、バーチャルプロダクションが抱える「時間」と「コスト」という大きな課題に対する強力な解決策と言えるだろう。写真のリアリティと3DCGの自由度を両立させ、従来は数ヶ月を要した背景アセット制作を数日で可能にするこの技術は、制作現場の創造性を飛躍的に高める可能性を秘めている。さらに、「スマートVPステージ」の展開やトライアルキャンペーンの開始により、バーチャルプロダクションという撮影手法は、今後より身近な選択肢となっていきそうだ。