イマーシブビデオのためのBlackmagic URSA Cine Immersiveの革命的な映像パイプライン

URSA Cine Immersiveの特徴

Blackmagic Design URSA Cine Immersiveは、アップルの空間コンピューティングデバイスであるApple Vision Pro（以下：AVP）向けのApple Immersive Videoを撮影するために、アップルとBlackmagic Designにより2年余りの歳月をかけて開発されたイマーシブ（VR）シネマカメラだ。

撮影されたコンテンツは高品質な180°3DVR フォーマットのApple Immersive Videoの要件を満たすことで、2Dメディアでは得られることのない、あたかもその場にいるような没入感や臨場感を視聴者に与えるものとなる。

　 　　

URSA Cine Immersiveは、2つの12Kのイメージセンサー、デュアル固定レンズにより、180°強（210°と思料する）の広視野角と立体視を実現している。各12Kのイメージセンサーは、いずれもURSA Cine 12K LFやPYXIS 12Kと同じイメージセンサーを搭載している模様だが、カメラの内部構造は異なっている。URSA Cine Immersiveでは、2つの8Kのイメージサークルを使用して、AVPのために片目8K（8160×7200）で撮影をおこなう。

非常に高速なイメージセンサーの読み出しが可能となっており、毎秒90フレームの記録と同時に、2つのイメージセンサー間では、ピクセルレベルの同期がおこなわれる。高解像度や高フレームレート、同期撮影は、AVPにおける高度な没入感と立体感を得るために必要な要件となっているのだ。

レンズ間のベースライン（基線長）は、人間の瞳孔間距離（IPD）の平均値に基づいて算出されており、64cm程度であるものと思料する。ベースラインは可変ではなく固定だ。推奨される撮影距離は1m以上だ。

絞り（おそらくf4程度）、焦点等はレンズ特性に沿って最適な値に選択、固定されており、AVPでどのように映像を展開、再生させるかを想定して、工場出荷時に適切にキャリブレーションされている。

アイリスは固定されているから、露出を制御する方法はシャッターアングルとISO、NDフィルターとなる。ネイティブ ISOは、800。NDフィルターは、レンズの両脇に格納されており、2段、4段、6段、8段の電動NDフィルターが用意されている。プラス、またはマイナスボタンを押すことで調整できる。

因みに、フレームレートや解像度は変更できない。

　 　　

レンズの色収差性能は非常に優れているものと観察できた。円周の端の部分でも、パープルフリンジは見当たらなかった。

ただし、RAWファイルを運用していく過程においては、当然、ノイズリダクションやシャープネスの適用は肝要であるものと思う。

コーデックは「B-RAW Immersive」と呼ばれるもので、従来のブラックマジックデザインのB-RAW（Blackmagic RAW）ファイルの拡張版であり、16ストップ ダイナミックレンジを保持する。2眼のレンズの映像が、1つのB-RAW Immersiveファイルに記録され、カスタムキャリブレーションされたレンズのパラメータも、同ファイルに反映される。

圧縮率は、12:1、8:1、5:1、3:1の4種類あり、照度が十分である場合は12:1の圧縮率が、画質とデータ使用量の観点から最適なものと推奨されている。Apple TV+で公開されているApple Immersive Videoの既存のコンテンツも、主に12:1の圧縮率で撮影されている模様だ。

ピクセルノイズなどを排除したい思惑で撮影する場合は、5:1、3:1などを利用する選択肢もある。

UIとしては、LCDスクリーンが左右の側面にそれぞれ配置されており、そのどちら側からでもカメラをコントロールすることができる。スクリーンには、180°魚眼レンズのプレビューが表示され、映像がモニタリングできる。

表示される円は180°の視野角をあらわし、中央の四角のガイドラインはヘッドセット（AVP）のおおよその視野を表している。撮影時のフレーミングの際には、映像にカスタムフレームガイドを重ねることで、AVPを装着して見る時のアクティブピクチャー（中心部分の被写体の配置）の見当をつけることができる。

「水平」を選択すると、ジャイロデータに基づいた水平線が表示される。オーバーレイをオフにすると、グリッドなしの状態で表示される。左目と右目の映像を切り替えたり、ズームインすることも可能である。ホワイトバランスや露光の過不足等の情報を表示するなど、タッチスクリーンによって、直感的な操作が可能になっている。

外部で映像をモニタリングする場合は、カメラからSDI信号をDaVinci Resolveに送出することで、リアルタイムモニタリングが可能となる。カメラから直接AVPへのストリーミングも予定されている。

ストレージとしては、8TBのメディアモジュール（M2モジュール/SSD）が付属しており、16K 90fps、12:1圧縮を選択した場合、記録可能時間は約1時間30～40分程度になる模様だ。メディアモジュールは、16TBも開発される予定である。Blackmagic URSA Cine 17Kなどは、CF Expressカードも利用できるが、URSA Cine Immersiveに関しては、使用できるという情報はない。

撮影データの移行に関しては、10Gのイーサネットケーブルから、メディアモジュールをネットワーク接続ストレージのようにリモートでマウントして、カメラから直接ファイルにアクセスすることができる。

あるいは、メディアモジュールをカメラから抜き出して、Blackmagic Media Dockに差し込み、作業することも可能である。その場合、クラウドストアへの移行も容易となる。

バッテリーは、BマウントやVマウントの24Vが使用できる。カメラの電源としてだけでなく、カメラに接続できる他のアクセサリーにも給電することができる。

カメラ上部には、WiFi アンテナが配備されている。

オーディオ機能としては、前面にステレオオンボードマイクがあり、これを利用すれば、撮影中の音声を空間オーディオ用の外部収録のアンビソニックスマイクの音源と同期させるのに役立つだろう。

　 　　

背面にはXLR入力が2つあり、カメラ内にステレオオーディオを入力することができる。空間オーディオを利用する場合は、別途、独立したレコーダーが必要になる。
URSA Cine Immersiveは筐体がかなり大きいものの、絞りやフォーカスの設定も不要なので、思いの外、ワンオペも十分可能なものと考えられる。

URSA Cine Immersiveの制作パイプラインについて

Apple Immersive Videoは、非常に高画質かつ自然な立体感と没入感が形成されていることが特徴であるが、それには映像パイプラインのシンプルなプロセスや画期的な処理方法も寄与しているものと言える。基本的に、ポストプロダクション編集は、Macでのみおこなえ、DaVinci Resolve V20（カメラに同梱される予定のDaVinci Resolve Studio Immersive Edition）を用いることになる。（DaVinci Resolveのイマーシブビデオ機能は現在プライベートベータ版とされており、URSA Cine Immersiveがリリースされるまで、DaVinci ResolveV20には正式にはサポートされていない。）

そもそも、従来のVR動画や3D映像制作においては、かなり複雑なワークフローが必要とされていた。ところが、URSA Cine ImmersiveにおけるApple Immersive Videoでは、撮影からポストプロダクション編集を経てデバイス（AVP）へデリバーするまでの制作パイプラインにおいて、一貫してB-RAWファイルに保存されたメタデータ（レンズキャリブレーション情報等含む）に基づいて運用され、ステレオ調整やステッチングの必要もなく、シンプルなワークフローを実現している。

従来、VR180のデュアルフィッシュアイの映像は、エクイレクタングラー（正距円筒図法）に変換する必要があり、この投影変換がシャープネスや解像感を損なう品質の低下を招く一因となっていた。また、時間的にも不効率なプロセスと考えられていた。

Apple Immersive Videoでは、従来のサイドバイサイド形式のステレオフォーマットの代わりにMV-HEVCを採用している。

URSA Cine Immersiveでは、撮影時に工場出荷時のキャリブレーション情報がB-RAW Immersiveファイルにメタデータとして埋め込まれ、それがDaVinci Resolveに引き継がれる。従来のVR180の方法とは異なり、DaVinci Resolve編集中には映像をレンダリングすることなく、その替わりに、AVP向けの最適な設定を備えたメタデータが埋め込まれたMV-HEVCのファイルを出力することができる。

ファイルに付与されたメタデータを利用して、visionOSがビデオをライブレンダリングすることで、AVPにおいて片目それぞれに8Kを表示するという画期的な出力方式が採用されているのだ。つまり、このワークフローにおいては投影変換は一度だけ行われるのである。

DaVinci Resolveのプロジェクト設定で「Apple Immersive Videoのワークフローを有効にする」をオンにすると、プロジェクトとタイムラインが準備される。B-RAW Immersiveファイルを読み込むと、3Dアイコンが表示され、タイムラインがステレオタイムラインとなる。クリップをタイムラインに追加すると、イマーシブビデオのための様々な機能がアクティブになるという流れだ。

カラーページの3Dパネルでは、左目と右目を切り替えたり、サイドバイサイド、（左右）、あるいはトップアンドボトム（上下）などのプレビュー表示モードを選択、変更することができる。

片方のレンズのみにフレアや汚れが発生していた場合などは、VR視聴のクオリティが低下することがあるが、修正が必要な際に、左右の目を切り替えながら作業ができるので有用である。デフォルトでは、左目が表示されている。

また、「エッジ（フレーム）マスク」というオーバーレイがついており、隣り合わせたデュアルレンズの映り込みをマスキングしたり、境界線をぼかすことができる（エッジブレンド）。

URSA Cine Immersive用のプロジェクト設定では、エディットページのタイムラインのトラックにおいて、映像と音声の間に「バックドロップ」という新しい種類のトラックができた。これは前方の180°以外の背面の真っ黒な部分に表示やエフェクトを入れることできるものであり、USDファイル（3Dのファイル形式）に対応する。

タイトルやキャプションを使用する場合は、テキストクリップを用いる。「コンバージェンス（収束）」のパラメータにより、シーンの奥行き内における配置を調整できる。

光学レンズデータやジャイロセンサーによるモーションデータは、右クリックによってタイムラインに表示される。ジャイロセンサーは、Ursaカメラ全機種に搭載されているが、メタデータファイルに記録される撮影時のモーションデータを解析することで、激しい動きが検知され、タイムラインにグラフ表示される。また、VR酔いのアラートを無視して使用しようとすると、AVP側でファイルの再生が拒否される仕組みになっている。いずれにせよ、基本的には、三脚を用いて、カメラを水平に設置した据え置きの撮影が推奨されている。

DaVinci Resolveのイマーシブ編集では、エディットページのタイムラインにおいて、エフェクトやトランジションがサポートされている。「visionOS Effect」のチェックボックスをオンにすると、それらは、書き出し時にベイクされるのではなく、イマーシブビデオファイルにメタデータとして付与され、AVPでリアルタイムレンダリングされる。

DaVinci Resolveのカラーモードのノードベースのワークフローを使って、イマーシブビデオのカラーグレーディングをおこなう場合、Apple Immersive Video用のカラースペースはDaVinci YRGBカラーサイエンス、タイムラインにはDaVinci Wide Gamut Intermediate、出力カラースペースはP3D65、HDRガンマはST2084を使用する。AVPでは108nits（108カンデラ/平方メートル）までのnit値（単位面積の明るさ）で表示されるため、変換のプロセスとしては、一旦、1000nits（1000カンデラ/平方メートル）から250nits（250カンデラ/平方メートル）にトーンマッピングして、マスモニでカラーグレーディングをおこなった後に、AVP用に108nits（108カンデラ/平方メートル）に再度トーンマッピングして書き出すことが推奨されている。

また、DaVinci ResolveとFairlightでは、Apple Spatial Audioについてもサポートされる。

今後も、様々なイマーシブ対応機能がDaVinci Resolveに追加される予定となっている。

処理マシンについて言及すると、イマーシブビデオの運用や処理において、現状、編集やレンダリングでは、Mac Studio M3 Ultraの最上位クラスが推奨されている。レンダリングには、撮影した尺の3～4倍の時間が掛かるものと見られる。カラーグレーディング等の処理には、M4 14～20コアのCPUのマシンが必要になるものとされている。

また、アップルから提供されているアプリ Apple Immersive Video Utilityを使えば、制作プロセスの過程で、適宜、Apple Immersive Videoを出力して視聴（確認）することができる。

制作中の作品をプレビューしたい場合は、低品質のHEVC MP4 ファイルと、撮影時にカメラで生成されたApple Immersive Media Embedded （AIME） メタデータファイルをインポートできる。あるいは、完成したApple Immersive Video Universal（AIVU） ファイルを配信仕様のクオリティで書き出すことも可能だ。

リモートHLSストリームとして、Apple Immersive VideoをAVPにストリーミングすることもできる。この場合、AVPでローカル再生されるのではなく、Macからストリーミング再生される形となる。

最終段階では、アップルのCompressorで配信用のファイルを、エンコードしてパッケージ化する。

　 　　

URSA Cine Immersiveは現在予約受付中であり、国内での価格は¥4,998,000（税込価格）。年内、早ければ夏頃に予約順に出荷される予定だ。

カメラ本体以外に、付属品としては、8TBのメディアモジュール、バッテリー、マウントプレート、トップハンドルとベースプレート、AC電源、ペリカンケースなどが含まれる模様だ。

尚、最終的な量産モデルや正式なソフトウェアのリリース後には、仕様が変更になる可能性がある。

Blackmagic Designでは、URSA Cine Immersiveのためのハンドブック（撮影編、DaVinci Resolve編）を準備中とのことである。