PTZカメラとFreeDで未来の制作スタジオを実現

VR・AR市場の拡大から、FreeDへの注目度が高まっている。主にバーチャルスタジオシステムのカメラトラッキング情報伝達用に採用されているプロトコルで、小スペースのガレージ撮影でもまるでスタジオ内で撮影しているような演出が実現可能になるからだ。ここでは、FreeD対応のカメラ紹介やPTZカメラとFreeD統合による利点などを紹介しよう。

FreeDやST2110に対応したフラグシップモデル「AW-UE160W/K」

パナソニックは、PTZカメラ業界のFreeDを牽引してきたメーカーだ。2020年8月発売のAW-UE100W/KでFreeDに初対応したPTZカメラを発売し、どこよりも早くからAR/VRの撮影を最小限の機材で実現。AW-UE150W/K、AW-UE100W/K、AW-UE80W/K限定だが、PTZカメラをUnreal Engineに直接接続できるFreeDドライバーも公開されている。FreeDの環境構築面では、他社より頭ひとつ飛び抜けた存在と言った感じだ。

そんなパナソニックのラインナップに、FreeD対応のフラッグシップモデル「AW-UE160」が登場。1インチタイプの4K MOSセンサーや高感度対応、NDI、SMPTE ST2110、モアレを軽減するオプティカルパスフィルター搭載など、スタジオカメラ並の撮影能力を特徴としている。VR・ARのみならず、スポーツ撮影、ライブ配信など、どんな現場にも対応できる頼もしい存在といえるだろう。

ソニーFR7のFreeD対応で何が変わるのか

次に紹介するのは、2023年11月28日に公開されたソフトウェアアップデートでFreeDプロトコルに対応したソニー「FR7」だ。原稿執筆時点では未対応だったが、一般公開に先駆けてソニーxアスク・エムイー共催 FR7 FreeD対応デモイベントで実機デモを見られる機会を得られた。このイベントからFreeDプロトコルを中心にレポートする。

2023年5月31日公開のVer.1.10から約半年。2023年11月28日にVer.2.00が公開された。特徴は、以下の14点になる。

FreeDプロトコルの対応によって、バーチャルスタジオソリューションなど活用シーンが広がるメジャーアップデートという印象だ。それでは、具体的にFR7＋FreeDの特徴を見ていこう。

FreeDとは位置と向きの6軸情報に加えて、ズームとアイリスとフォーカスをリアルタイムに伝達するプロトコルであり、Ver.2.00からFR7に対応する。FR7から出力されるトラッキングデータには「パン」「チルト」「ズーム」「フォーカス」「アイリス」が含まれている。このトラッキングデータの情報を、グラフィックエンジンに読み込ませることでAR/VR制作に対応する。

今回のシステム構成は、下記図の通りだ。赤の線に注目をしてほしい。FR7のLAN（RJ45）から、FreeDプロトコルの出力と同時に、「RM-IP500」や「RCP/MSU」などのコントローラーで制御可能なのを特徴としている。

AR/VR の制作に対するソフトウェアは、リアルタイムでのCG合成を実現するノードベースのバーチャルプロダクションシステム Zero Density 社「Reality」や、仮想セットと拡張現実を提供する「Vizrt」など検証は既に完了しているようだ。

次にデモ時のシステム構成を紹介しよう。

FR7の12G-SDI出力からは、Realityのワークステーションに映像を入力。ワークステーションには、AJAのビデオ&オーディオI/Oプラットフォーム「Corvid 44 12G」を搭載し、そこにSDI信号を入力する環境で稼働していた。

実写とCGのリアルタイム合成では、カメラとシステム機器の間でGENLOCKをかけることが大前提である。しかし、Cinema Lineシリーズの人気モデルFX6はGENLOCKを搭載していないため、FX9またはFR7のどちらかでの対応となる。今回のデモでは、GENLOCKの信号をFR7とRealityのワークステーションの間で同期をかけて、トラッキングデータを外部同期信号とシンクさせて出力していた。

Realityのインターフェースは、ノード型のインターフェースを採用。FreeDプロトコルからレンズエンコーダー値が出力され、FreeDノードでデータを受信する。

　 　　

FreeDノードで受信したデータは、プロパティの「RawTransform」にリアルタイムに表示される。「X、Y、Z」はカメラの位置、「R、Y、P」はカメラの方向、「Zoom」と「Focus」はズームとフォーカスの動作に合わせて変化する。

FR7のFreeDプロトコルは、「パン」「チルト」「ズーム」「フォーカス」「アイリス」を送信し、Realityは「アイリス」を除く4つの値を受信し、「ズーム」と「フォーカス」値を元にFOVを連動させる。FR7のレンズズームのZOOM値と仮想世界のFOVが連動することで、あたかもバーチャルの世界に人が存在しているように見える、実写とCGのシームレスな融合を実現しているという。

レンズの視野や歪み情報に関しては、Reality用のレンズファイルを使用可能。このレンズファイルの設定だけで実現できる手頃さも特徴的だ。Realityは、被写界深度の調整にも対応し、背景にフォーカスを送ると手前をぼかした表現も可能。こういった処理も、レンズファイルに含まれる「Focus distance table」によって実現できているという。

FreeD対応のPTZカメラは、カメラとデバイスの統合を簡易化し、高精度のカメラ制御を可能にするなど、数多くのメリットをもたらすようだ。バーチャルスタジオや没入型コンテンツを高品質かつ効率的に作成したい方は、ぜひ注目してみてほしい。