txt・構成：編集部
ショートムービー「MORPHO」が実現するまで
マリモレコーズとCG制作を手掛けるフィニットは、カールツァイスからの打診でeXtended Dataの検証実験の意味を含めたショートムービー「MORPHO」を合同プロジェクトで制作した。Vol.01では、「MORPHO」のチーフディレクターを努めた江夏氏ににレンズデータとeXtended Dataについて紹介していただいた。
これまでは、実写とCGとを合成するために、現場ですべてのショットのレンズ設定をメモに書き留めたり、レンズディストーションのパラメーターを取得するためのグリッド撮影が必要であったが、eXtended Dataのレンズデータワークフローでその手間がなくなる。これでeXtended Dataが世の中の映画制作やポストプロダクション関係者が注目する、重要なワークフローであることを分かっていただけたかと思う。
Vol.02では、MORPHOのメイキングを通じて具体的なeXtended Dataのレンズデータワークフローについて詳しく紹介する。eXtended Dataの記録方法やポストプロダクションへの渡し方、ポストプロダクションでの具体的な活用方法の手順を解説しよう。
（01）企画編-レンズデータありきの映像
■MORPHOのコンセプト
マリモレコーズとフィニットが合同で制作した「MORPHO」は、街並みが短時間で未来都市に変貌していく異種空間を映像化した2分半のショートムービーだ。被写界深度の浅いアップショットと大胆な広角レンズ使いが交互するシネマティックな映像と、オリジナルで書き下ろされたテクノな楽曲がマッチして、まるで海外のミュージックビデオを見ているような映像が特徴だ。
タクシーの後部座席で渋滞に巻きまれる女性。窓ごしに青い蝶を眺める。そのあとマンホールや縁石などの静物が音楽に合わせて動き始め、植物が壁を覆っていく。
女性がタクシーを降りて歩き始めると、背後の建物や次々に未来都市のように変わっていき、カメラが彼女を再度捉えると、彼女の衣裳までも未来的になっている。しかし彼女がしばらく歩いて振り返ると、未来都市が白昼夢だったかのように消えて無くなり、現実世界にもどっている。
今見た風景は何だったのか訝り、立ち止まる女性。ふと見上げると、先ほどの青い蝶だけが舞っている。
まずは、ショートフィルムを見てほしい。
■プロモーションフィルム「MORPHO」
■ワイドレンズでの実写撮影とマッチムーブとディストーションや周辺光量の影響が出やすい街での撮影に挑戦
MORPHOのハイライトは、現代からみるみるうちにホバーカーが飛び交う近未来的な街並みへと変わるところだ。カメラが被写体人物をぐるりと回り込み、SF映画のような未来的な景観を展開している。実写とCG合成をふんだんに注ぎ込んで未来都市の映像を実現しているのは興味深いところだ。
この未来の街を実現するうえで、2つのチャレンジがあったという。1つが、eXtended Dataのディストーション補正を生かすワイドレンズでの実写撮影とマッチムーブだ。CGと実写合成を簡単に実現したいならば、実写のカメラアングルをフィクス（固定）にすることだ。しかしMORPHOはその真逆で、ワイドレンズを付けたカメラをジンバルに載せて大胆に動き、パンやティルトなどの動きも取り入れて非常に複雑なカメラムーブメントを行っている。
「50mmとかの焦点距離はわりとレンズの補正が必要ないが、ワイドで回るというのは、わりと苦労しますよね」とフィニットの武田氏。
直線的なビルの景観を背景にカメラは常に動いて女性をぐるりと回り込む。しかも、画面の端までCGを施している
■広角レンズの歪みが目立ちやすい直線的なロケーションで撮影
もう1つが、画面全体の合成精度にディストーションや周辺光量の影響が出やすい状況をあえて作り出したことだ。実写の歪みがあえて目立ちやすい道路やビルが直線的な街を検討した結果、ヨーロッパのような街並みと近未来風なデザインの建物が立ち並ぶ幕張ベイタウンがロケーションとして選ばれた。
ただし、街の景観だけだと面白みに欠けるので、背景に人を入れることでアナログ的にしたという。早着替えも入れて、アナログと背景のデジタルの両軸で見せたい、というのが企画の狙いだったとのこと。
撮影時の様子
■CG合成前とCG合成後の比較
質感が変わり、植物に覆われていく建物。CG合成前
CG合成後
進化する街並みの様子。CG合成前
CG合成後
カメラが振り返ると、未来のコスチュームに変わっている。CG合成前
CG合成後
（02）撮影編-ZEISS eXtended DataをR3Dビデオクリップに記録
■レンズはeXtended Data対応のCP3.XD
ツァイスは、eXtended Data対応シネマレンズとしてSupreme PrimeとCP.3 XDをラインナップしている。どちらもレンズデータは、PLマウントを介してカメラに直接転送、または外部ケーブルを介してサポートされている機器に転送される。MORPHOの撮影は、レンタル会社でも取り扱いが多くて購入可能な価格帯で発売されているCP.3 XDが選ばれた。
今回の撮影に使われたCP.3 XD。機材協力はナックレンタル
■カメラはレンズデータをR3Dファイルに記録できるDSMC2 MONSTRO 8K VV
これまでは、レンズデータワークフローを実現したくても、カメラ側がレンズデータの記録に対応していなかった。そのため、レンズデータレコーダを外部につけて収録する必要があった。その状況は最近、一変している。REDは2018年12月に公開したファームウェア7.1以降、ソニーVENICEは2019年2月に公開したファームウェア4以降でビデオクリップにレンズデータが一コマ一コマに記録できるようになった。データ収録に必要な外部機器が減り、レンズデータワークフローをシンプルに行えるように改善された。
MORPHOの撮影では、カメラはRED DSMC2 MONSTRO 8K VV、レンズデータ情報はR3Dのクリップファイルに埋め込んで収録が行われた。レンズデータは、ビデオクリップから抽出して、ポストプロダクションに渡された。
RED DSMC2 MONSTRO 8K VVをRONIN 2に載せて撮影が行われた。カメラマンはウィリアム・タン氏
■メインカットの撮影
メインカットの移動撮影の様子を紹介しよう。DJIのRonin 2にMONSTROを乗せて手持ちで移動するカメラマン、Ronin 2とMONSTROを遠隔操作するカメラヘッドオペレータとフォーカスプラーの3人のオペレーションによって撮影が行われた。
ワイヤレス遠隔操作を行うチーフディレクターの渡辺知憲氏（左）とCAの鈴木隆司氏（右）
RONIN 2のパンとチルトをコントロールする渡辺氏
ARRIのワイヤレスコンパクトユニット「WCU-4」でレンズのフォーカスとアイリスを操作する鈴木氏
ARRIのSkyPanel S30-Cを持つDPの金戸聡和氏（中央）
■撮影部の収録と並行して、CG部は現場ライティングを記録するHDRI撮影を行う
MORPHOの撮影では、ビデオクリップと同時にレンズ補正情報も自動的に記録されるため、グリッドを撮る必要はない。しかし、撮影現場では一応、グリッド撮影や現場のライティングをCG上で再現するためのHDRI（High Dynamic Range Images）撮影が行われていた。撮影現場の光源を360°パノラマのHDRIとして記録し、環境マップとして使用する。撮影現場のビルの写り込みを写真で作って環境データとし、それをシーンにリフレクションとして組み込んでいくことでフォトリアリスティックなイメージを実現できるようになる。
また、今回の作品では複雑なカメラワークの実写にCGが合成されるため、現場でも撮影部とCG部の間でカメラの振り方の相談なども行われていた。
HDRIの撮影を行うCG部の足立氏。フィッシュアイレンズの8mmで撮影し、前後左右の4方向や上部も加えることがあるという
（03）ポスプロ準備編-ポスプロで使用するビデオクリップとZEISS eXtended Dataを準備
■R3DファイルをEXRファイルの連番に変換 使用する素材をメタデータごとEXR書き出す
ここからはポストプロダクションへの準備工程を解説する。ここで紹介する手順は、YouTubeにてチュートリアル映像「Shot on ZEISS CP.3 XD Lensesチュートリアル」を公開しているので、そちらも参照していただきたい。
■「Shot on ZEISS CP.3 XD Lenses」チュートリアル
VFXの工程を担当したのは、CGやVR・ARコンテンツの制作を手掛けるCGプロダクションのフィニット。実写の素材にCGを合成して、馴染ませる映像製作を得意としており、主にCMや映画、ドラマのCGパートなどで活躍中だ。
フィニットで行うMORPHOのコンポジット工程は、Nukeによって行われている。ディストーションの補正もトラッキングもNuke。歩いた後に生える植物や建物を覆う植物は、3ds MaxのGrowFXで行われたとのことだ。
VFXの工程を担当したフィニットの足立氏
（01）R3DのビデオクリップからeXtended Dataをポスプロに渡すための準備の手順から紹介する。
ツァイスは2019年８月、eXtendedのインジェクションに使用される無償のコマンドラインツール「zeiss-xdcp」を開発し、無償で公開を開始した。zeiss-xdcpは、eXtended DataをEXRファイルに再埋め込みができるようになり、これまで必要であった有料のオンセットデータ管理用ソフト「Silverstack」を必要としなくなった。Silverstackは高価なソフトだっただけに、ビックニュースだ。
ツァイスWebページから「Injection Tool」と「Compositing Software Plugins」をダウンロードし、インストールする。
（02）eXtended DataはR3Dのビデオクリップに記録されるが、このままではレンズデータを読み込むことはできない。そこで、NukeでeXtended Dataを読み込むための準備として、R3DファイルをEXRの連番に変換する。
Nukeを起動し、Readノードを作成。そこからメタデータ情報を抽出したいR3Dをインポートを選択する。
画面はNuke
（03）WriteノードではEXRファイルを選択し、[metadata]ドロップダウンはall metadataを設定（メタデータをすべて移行）して、連番に変換する。
※画像をクリックすると拡大します
（04）変換を実行する。
画面はNuke
（05）ツァイスのWebページ（下記のアドレス参照）の「Guides and White Papers」で公開されているPDF「ZEISS eXtended Data workflow with RED DSMC2 cameras」を開き、PDF5ページ目にあるコマンド
zeiss-xdcp -s example_R3D/example.R3D -d example_EXR/example_*.exr
を適当なテキストエディター（下記の画面はWindowsアクエサリーの「メモ帳」）にコピーする。
（06）コピーしたコマンドは、R3Dのデータがあるソースファイルの「ディレクトリー」と「ファイル名」、EXRのデータがある保存先の「ディレクトリー」と「ファイル名」に書き換える。
（07）Windowsはコマンドプロンプト、macOSはターミナルを起動する。Windows10の場合は、スタートメニューの「Windowsシステムツール」→「コマンドプロンプト」をクリック。macOSは、「アプリケーション」→「ユーティリティ」→「ターミナル」をダブルクリックする。
画面はWindows10の場合。コマンドプロンプトはWindowsシステムツールの中にある
（08）書き換えたコマンドをコピーし、コマンドプロンプト（Windows）またはmacOS（Mac）にペーストしてzeiss-xdcpを実行する。
画面はWindows10の場合
（09）zeiss-xdcpを使うことによって、編集に使用するEXRにレンズデータが焼き込まれる。
なお、フィニットでは、MONSTROの撮影素材は解像度が高くて作業の負担になるために、解像度を縮小したものをコンポジターに渡して、軽いコンポジットしやすい素材で合成作業を行ったとのことだ。
（04）ポスプロ編-ポストプロダクションでZEISS eXtended Dataを活用する
■Nukeを使ったディストーション補正と周辺光量補正
EXRの素材は、レンズのメタデータを読むだけで実写の素材からディストーションや周辺光量を補正できる。その手順を紹介しよう。
（01）NukeのZEISSプラグインは、EXRに焼き込まれたeXtended Dataを読み取り、映像のディストーション補正と周辺光量補正を自動で修正できる。
まずはNukeを起動し、EXRの素材を読み込む。
Nukeを起動
（02）Nukeでノードリストを開き、「ZEISS」を検索し、「ZEISSLensDistortionCorrection」を読み込む。
（03）入力をフッテージに接続すると、ノードでディストーション補正が利用可能になる。補正は、周辺光量補正、ディストーション補正の順番で行う。
先に周辺光量補正を行う
その後にディストーション補正を行う
■Nukeを使ったトラッキングの手順
トラッキングの手順を紹介しよう。トラッキングとは、実写映像からカメラの動きを解析すること。トラッキングデータを使えば、CG上にあるカメラと実写で動いたカメラの同期が可能になる。
（01）CameraTrackerのプロパティを開き、「Lens Distortion」は「No Lens Distortion」を選択。「Film Back Size」には、センサーサイズを設定。ここではMONSTROのセンサーサイズ「40.96mm×21.60」を入力した。
※画像をクリックすると拡大します
（02）「Track」を選択して、補正したビデオクリップの3Dトラッキングを開始する。
（03）きちんとディストーションや周辺減光の補正が施された素材で3Dトラッキングを行うことで、精度の高い結果が得られる。
（04）Nukeでの合成作業が終わり次第、プラグインを使って一度補正した周辺減光とディストーション補正を再び戻す。こうすることにより、よりリアリティある合成を実現できる。
（05）周辺露出の補正によって画面全体の露出が均一になるということは、カメラプロジェクションやキーイングなどにも役に立つ。新たに配置した3Dオブジェクトも、違和感なく合成が可能になる。例えば、カメラマップで張り付けたテクスチャが暗いとバレてしまうが、周辺光量の補正で解決できるという。
eXtended Dataは、従来の作業に比べて圧倒的に効率的で、レベルの高いマッチムーブとVFXを実現が可能になる。Nukeのワークフローの詳しい詳細に関しては、ツァイスのWebページでPDF「Apply lens characteristics using ZEISS eXtended Data plugin for NUKE」が公開されているので、こちらも参照してほしい。
■フォーカスワークをコントロールするツールが登場
eXtended Data対応のプラグインは、ツァイス製だけではない。
Nukeユーザーの情報サイト「Nukepedia」では、マックス・ファン・レーウェン氏が開発したeXtended DataファイルをNukeノードに読み込む「readZEISSdata」が公開されている。
深度ボケをどこに置くかをCG上で半自動化できるツールで、ツァイスのレンズの焦点距離を3DでレンダーしたZデプスを組み合わせることにより複雑なラックフォーカスなどが実現できる。例えば、単にAからBの距離に移動とかではなく、AからB、BからCといった複雑な移動も可能になる。手動では困難なフォカスワークが、可能になりそうだ。
