ソニーPCL｢Creative Summit 2024｣開催。リアルタイムエンジンを活用した次世代コンテンツ技術を紹介

ソニーPCLは、2024年8月1日から8月2日の2日間、次世代コンテンツ技術を紹介するイベント｢Creative Summit 2024｣を開催した。

ソニーPCLといえばポストプロダクションを提供するコンテンツ制作会社というイメージが強かったが、近年、時代の変化に合わせて｢清澄白河BASE｣でのバーチャルプロダクションやボリュメトリックキャプチャを活用したイマーシブコンテンツ制作など、先端テクノロジーをいち早くから提供中だ。

Creative Summit 2024は、そんなソニーPCLの取り組みを「2D」「3D」「イマーシブ」に分類して、制作技術、クリエイティブ、ソニーグループの技術を紹介したイベントだ。コンテンツを実現する制作ソリューションの提案や来場クリエイターとの議論の場にしたいという思いから｢Creative Summit｣の名称にしたという。展示コーナーから注目技術をピックアップして紹介しよう。

バーチャルプロダクションの可搬型サービスを展示

2Dコンテンツコーナーの中から、気になった技術を紹介しよう。まずはメイキング＋ティザーを初公開したショートムービー｢リテイク｣を支える映像制作ソリューションの展示だ。リテイクは、米国ソニー・ピクチャーズ エンタテインメント傘下のVFXスタジオ｢Pixomondo｣との共同制作によるショートムービーで、Pixomondoによる高品質な3DCGを背景に加えて、清澄白河BASEのバーチャルプロダクションで数々のカットを制作。ソニーPCLのノウハウを掛け合わせることによって、難易度の高いシーンの撮影の実現を特徴としている。

編集コーナーでは、グレーディングのデモを実演。シネマチックなワークフローやACESの色管理に対応したグレーディングを紹介した。

ソニーの音源分離技術コーナーも、なかなか興味深い展示だった。同技術は、複数の音が混ざり合った音声データから、独自AIにより個々の音源を特定して分離する技術。過去の押井守監督作品をリマスターする際にミックス済みの音を、セリフだけ音源分離技術で抽出して聞けるようになっていた。

ソニーPCL独自開発のアップスケーリングサービス｢RS+｣も気になった。過去作品のリマスターの際の高解像度技術サービスで、2Kから4Kへ高画質化されていく様子が見られるようになっていた。

2Dコーナーでもっとも高い注目度を集めていたのは、バーチャルプロダクションの可搬型サービスだ。ソニーPCLではバーチャルプロダクションのスタジオを｢清澄白河BASE｣に常設しており、｢リテイク｣もそのスタジオでバーチャルプロダクション撮影を実施したものだ。

｢清澄白河BASE｣のバーチャルプロダクションスタジオはCMやテレビなどの映像制作の撮影に使用されているが、今回の可搬型サービスは、サイズ問わず、任意の場所に設置できるのを特徴としている。LEDウォールは大型サイズとしても設置可能で、通常の映像制作の撮影にも使用できる。小型ウォールとして設置して、展示会やオフィスの中のデモンストレーション、プレゼンテーションなどの用途に対応可能なのを特徴としている。

今回の会場ではソニーの最新機種｢Crystal LED VERONA｣を使用して、幅約4mの小型LEDウォールを設置。床に設置したトラッキング用マーカーをカメラが補足することで、インカメラVFXを実現。カメラと動きに連動して背景も動いていた。

LEDウォールが小型の場合、カメラアングルの向きや広角側撮影の際に背景のLEDウォールが見切れてしまう場合がある。会場のデモでは、カメラをLEDウォール外のアングルに向けた場合でも、合成後の映像はxRサーバーを通して背景CGデータを合成する。小型LEDウォールでも自由度の高い映像制作を可能にしていた。さらに、参加者がLEDウォール前のステージで演技をした様子を撮影し、発行されたQRコードを読み込むことで撮影動画を持ち帰れるイベント向けサービスも同時に展示をしていた。

ソニー独自のNeRF技術も注目の展示だった。NeRF技術は、複数枚の写真だけで立体的に見える背景を生成することができるツール。

例として、実際にある高台から見下ろした風景を100枚程度、写真として撮影し、カメラの位置に連動させた背景をリアルタイムに生成していた。今後、バーチャルプロダクションの背景制作の1つの選択肢になりえる検証中の技術としていた。

可搬型ボリュメトリックシステムを展示

3Dコンテンツコーナーでは、1アセットマルチユース構想を紹介。ゲームエンジンを活用して、一つの3Dアセットをマルチデバイスで活用していく。それを最適化するソリューションを提案していた。

従来のデザインプロセスでは、作り始めたらアウトプットにいたるまで様々なフォーマットに変更をしなければならない段階が多かったが、今回の提案ではコンテンツを作る段階から届けるデリバリーのところまで、ワンアセットでシームレスに提供することを考えているという。

3Dのコーナーでもっとも注目を浴びていたのは、簡易型の可搬型ボリュメトリックシステムのデモだ。複数台のカメラを使って人を3Dキャプチャーする仕組みの技術だ。このシステムの何よりもすごい点は、持ち運びができてしまうところだ。カメラはMicrosoftのKinectを使用。台数を7台に減らすことによって携帯性を実現している。

可搬型の実現によってイベント会場などで来場者をキャプチャーして、異世界にすぐに入り込むといった疑似体験のコンテンツ提供が可能になる。例えば、カメラの前で参加者が行なったゴールパフォーマンスを瞬時に3Dデータ化。あたかも参加者がフィールド上で選手と一緒に喜ぶゴールセレブレーション体験のコンテンツを鹿島アントラーズの体験型イベントとして渋谷サクラステージで実施したことがあるという。

リアルからバーチャル空間まで様々な環境に適応したイマーシブ体験を実現

イマーシブコンテンツコーナーでは、体験できるコンテンツは2つあった。1つは、DJ松永の「DJ Matsunaga Routines」。2021年にGinza Sony Parkで実施した約170インチ相当のスクリーン5面で構成されたDJ松永のダイナミックでテクニカルなDJプレイのコンテンツを視覚、聴覚、触覚に特化したテクノロジーにでイマーシブな空間体験にアップデートさせたもの。もう1つは、ショートムービー｢リテイク｣の3D CGのアセットデータを今回のイマーシブ体験向けに構築したものだ。

2つのコンテンツのテクノロジーポイントは、Crystal LEDの使用と空間音響技術で構成している点だ。「DJ Matsunaga Routines」はもともとステレオの音源だが、音源分離技術を使って様々な音を取り出し、それらを12.1chにリミックスして立体音響を構築している。

床面のエリア中央には、4.5m×4.5mのActive Slateを設置。Active Slateは、雨の中の水たまりや砂浜、氷の上を歩く感覚とかいろいろなシチュエーションに合わせて触感のデザインが可能。DJ松永のコンテンツでは、振動がドーンとくる感覚、2個目のリテイクでは砂に近い感覚を体験できるようになっていた。

「2D」「3D」「イマーシブ」の3つのゾーンに共通しているのが、リアルタイム技術を使っている点だ。ソニーPCLは、リアルタイム性がコンテンツ体験価値を引き上げると考えているという。

フィルムラボとして誕生して以来、時代時代の変化に合わせてコンテンツクリエーションを展開してきたソニーPCL。同社のリアルタイムエンジンを活用したコンテンツ制作の動向に注目だ。