IBC2024では、撮影まわりで注目すべき2つの技術が紹介された。どちらも膨大な情報から必要な情報を取捨選択する手法の新技術である。
2DコンテンツからMRコンテンツを生成
韓国KBSは、IBC2024のAI TECH ZONEのプレゼンテーションステージにおいて「Transforming Music Shows with AI – Immersive Viewing and Innovative Fan Engagement（AIで音楽番組を変える- 没入型視聴と革新的なファンエンゲージメント）」と題したプレゼンテーションを行った。
KBSはその中で、8Kカメラと生成AIである自社開発ソフトウエア「VVERTIGO Vision」を組み合わせ、カメラに映っていない部分をAIで生成して180°・3D映像を作成する技術を紹介した。
VVERTIGO Visionは、KBSが開発した人工知能技術と舞台美術を融合させた空間映像生成技術である。これまでの音楽番組のステージのデザインをAIが自動的に学習し、16:9の映像から180°に拡張された３D空間映像を自動生成するもの。
放送局などは従来の方法でコンテンツを制作し、Apple Vision ProやQuestのようなデバイス用に変換することができ、視聴者に優れた没入感を提供すると同時に、コンテンツ制作者はより高いコスト効率で高品質のMRコンテンツを制作することができる。
また既存の2D映像からの生成も可能なので、HMD型のMRデバイスはもちろん、LEDウォールなどでのイマーシブな映像体験も含めた8Kや16Kなどの高精細コンテンツ市場の拡大を牽引していくことが期待される。
元々のVVERTIGO（Visionがつかない従来バージョン）は、複数メンバーがパフォーマンスするK-POPアーチストの8K素材から、個々のメンバーをAIで縦長映像にクリッピングする技術である。こうしたメンバー個人の動きを追う映像はチッケム映像と呼ばれ、メンバーごとにYouTubeやTikTokなどで配信され、非常に人気が高い。
これらの技術はカメラの台数とカメラマンの人件費を削減しながらも、視聴者に新しい映像体験や価値を同意時に提供することができるものである。
プレゼンテーションを行ったKBSのYoon-Jae Lee氏は、「MRデバイスが次世代メディアビューワーとして注目を集めているが、MRコンテンツが不足している。我々は生成AIを利用してテレビ映像をMR形式に変換することを目指している」というビジョンを示した。また今後の展望として、360°と奥行方向への拡張を示唆した。
なお本記事では、プレゼンテーションを行ったKBSのLee氏が「MR」と表現したのでそのままMRと記述をしているが、ここで言われているMRはMixed Realityの略称であると思われるので、日本の最近の傾向としては正確ではないかもしれないが、あえて「XR（クロスリアリティー」」に言い換えたほうが理解しやすい気がするので、あえて補足をしておく。
AIがカメラマンの意思と能力を拡張する
キヤノンは1人のカメラマンの意思を受けたAIが、複数のカメラを同時に操作する撮影技術、マルチカメラ・オーケストレーションのデモを行った。これは省力化という点が特徴であるのだが、今後のAIの学習次第では省力化を超えた次元の新しい映像表現を実現させる可能性を秘めている可能性が非常に高い技術だ。
このマルチカメラ・オーケストレーション Multi-Camera Orchestration（MCO）は、1台の有人カメラと、複数台のPTZカメラで構成され、有人カメラの撮影映像に他のPTZカメラが自動同期するものである。
同期させる内容は学習データに基づいてプリセットと言うかプログラムすることができる。現在は試作版とのことだったが、ブラウザ画面上で各カメラの役割や動き設定していくイメージである。
たとえばPTZ1カメはメインカメラと同じ被写体を別アングルから狙うとか、PTZ2カメは常に特定の被写体をトラッキングするなど、通常のマルチカメラ撮影においてディレクターやスイッチャーが行っていることを、メインカメラマンの意思を受けたAIが代替して各カメラの画を決めるのである。
MCOではメインカメラの映像を映像として認識しているのではなく、カメラの向きとズームのデータを取得しているとのことだ。そのデータをもとにして、前述した設定に従って、各カメラをリモートで操作している。
キヤノンとしてはMCOのユースケースや効果的な利用方法、さらに提供方法（どの部分ををどういう形式で提供するか）について、さまざまな意見を集めているところとのことである。PTZカメラは他社製でも制御可能にする予定とのことだ。
KBSとキヤノンの2つの撮影技術は、8Kの高解像度や、PTZというロボットカメラとAIなどの技術によって実現されている。これらに共通しているのは、一旦できるだけ多くの情報を取得しておき、その中から必要な情報だけを適切な形で取捨選択するもので、その際にAIが仕事をしているということである。
