「フジファブリックxバカリズム×星街すいせい」によるコラボレーションライブ
キヤノン株式会社とバルス株式会社は、2023年7月29日に開催された日本テレビ放送網株式会社と株式会社ClaN Entertainmentが主催の「バズリズム LIVE V 2023」において技術協力を行い、リアルアーティストとバーチャルアーティストが同一空間でコラボレーションする、ボリュメトリック生配信ライブを実現した。
キヤノンが開発した「ボリュメトリックビデオ技術」とは、100台規模のカメラで撮影した画像から、3Dデータを生成する技術だ。撮影した空間内を、まるで透明のカメラ付きドローン（通称：仮想カメラ）で撮影しているかのような、360°自由な視点での映像制作が可能。広範な撮影エリアをリアルタイムに映像生成することができるキヤノンならではの特長を生かして、スポーツやエンターテインメント分野を中心に幅広く活用されている。
一方、バルスが提供している「バーチャルライブ技術」とは、ゲームエンジンであるUnityを用いて自社開発したシステムで、リアルタイムに3DCGライブを行う技術。3D空間を数十台のバーチャルカメラで撮影、リアルタイムにスイッチングし、システム内で完結したライブ配信映像の制作が可能なほか、外部機器との連動を行い、現地会場で各演出と同期したライブを実現する。
これら先進の映像技術を組み合わせることにより、今回のイベントにおいて、リアルとバーチャルが融合した新たな映像体験サービスを提供した。具体的には、キヤノンが実在のアーティストをボリュメトリックビデオシステムでリアルタイムに撮影・3Dデータ生成を行うと同時に、バルスもモーションキャプチャによってVTuberと呼ばれるバーチャルアーティストを生成する。
それぞれの3Dデータをバルスのバーチャルライブシステムに取り込み、瞬時に結合することで、リアルとバーチャルのアーティストを同じCG空間上に時差なく登場させることが可能だという。これにより、CGならではの自由なカメラワークと空間演出を生かしながら、アーティスト同士が次元を超えて息の合ったパフォーマンスを繰り広げる、没入感の高い音楽ライブの配信を実現した。
キヤノン株式会社コメント
キヤノンのボリュメトリックビデオシステムの特長は、実在の被写体をリアルタイムに仮想空間に登場させられることです。今回のバルスとの協業による取り組みは、ボリュメトリックビデオの提供価値を最大限引き出し貢献することのできた、象徴的な機会となりました。
技術的には、高品質な3Dデータをバルスのバーチャルライブシステムにリアルタイムに送出するために、仮想カメラの位置に応じてアーティストの色や質感といったテクスチャデータを適切に貼り付ける点で工夫を行いました。これにより、同一空間内に実在のアーティストとバーチャルアーティストが違和感なく共演する、新たな映像表現を確立することができました。
今後も、ボリュメトリックビデオ技術のさらなる進化と活用分野の拡大を図るとともに、映像体験価値の向上を追求していきます。
バルス株式会社コメント
バルスは普段バーチャルアーティストのライブを数多く制作していますが、今回そのバーチャルライブシステムにキヤノンのボリュメトリックビデオ技術をどれだけ自然に融合させられるかが課題でした。
キヤノンのボリュメトリックビデオ技術とバルスのバーチャルライブシステムが時差なく同期するよう設計を行い、視聴者がより違和感なく没入できるよう、CG上でリアルアーティストにも当たる照明やスモーク演出などの調整がさまざまなアプローチで行えるシステムを開発いたしました。さらに60 台を超えるバーチャルカメラにより、リアルとバーチャルが共存したステージをバーチャルならではのカメラワークで魅力的にお届けできたと思います。
