Netflixがオープンハウスでバーチャル製作技術を紹介
Netflixは2021年4月12日から16日にかけて、東京・世田谷区の東宝スタジオにて「バーチャルプロダクション・オープンハウス」を開催した。
2021年アカデミー賞で話題の映画「Mank/マンク」や「アイリッシュマン」がインカメラVFXで撮影されたことは有名な話だが、今回のオープンハウスではそのNetflix作品で使用されているバーチャル製作技術の一部を紹介するというものだ。Netflixには「N LAB」と呼ばれるバーチャルプロダクションの体験や技術を共有する組織があり、そのチームの協力を得たアジア初開催のオープンハウスだという。参加者限定で、会場にはプロデューサーや撮影監督、技術職の方々が集まっていた。見えてきた撮影現場の未来の様子をレポートしよう。
会場は先日、Netflixが複数年契約発表したばかりの東宝スタジオNo.7ステージだ。290坪の広いスタジオの中には、キャンプや屋内、車の走行シーンを再現したセットやLEDスクリーン、Technocraneまで用意されていた。
オープンハウス開催の一報を聞き、「Netflixが国内にバーチャルプロダクションの常設スタジオ開設か」と思ったが、オープンハウス終了後に組み上げたLEDはばらすという。それでも4日間限定のオープンハウスのために、これだけ大掛かりな撮影現場を再現したことは驚きに値する。バーチャルプロダクションの情報共有の場や、国内でもLEDを使った作品が増えるきっかけになってほしいという思いで開催したという。
LEDスクリーンやシステム構築はクリエイティブテクノロジー、撮影や照明、2Dコンテンツ背景素材制作は特殊映材社、UE4コンテンツはデジタル・フロンティアがイベント共催パートナーとして手掛けていた。
その中でも、もっとも目を引いたのは幅15メートルの巨大なLEDスクリーンだ。パネルを合計約400枚使用しており、国内のバーチャルプロダクションでは恐らくパネル最大枚数ではないかとのこと。LEDスクリーンはROE社の屋内用スクリーン「Black Pearl BP2」で、2.84mmの高精細と1500nitの明るさを誇る。バーチャルプロダクションのLEDスクリーンの中でももっとも選ばれるモデルで、実写ドラマ「マンダロリアン」の撮影現場でも使われたモデルだという。
センタースクリーンの高さは5m、幅15m、少し湾曲させていたもの。ドライビングコーナーには奥行6m、高さ4mのサイドスクリーン、天井には吊るし軽量のLEDスクリーン、車の左手には可動式の3mのLEDスクリーンを設置。全部で4面のLEDスクリーンを設営していた。
コンテンツを流すためのメディアサーバーはクリエイティブテクノロジー製のPlate Performerで、インカメラVFXのための2Dプレートの3D操作、バーチャルライティング、カメラトラッキングなどの機能を備えている。
VFXをリアルタイムに実写に組み合わせて撮影するインカメラVFX
登壇者の解説を紹介しよう。Netflixの宮川遙氏はインカメラVFX技術を紹介。インカメラVFXとは、VFXをリアルタイムに実写に組み合わせて撮影する手法とのこと。これまではグリーンバックスクリーンやブルースクリーンで撮影したものを元に、ポストプロダクションにおいてCGを追加や合成作業を行っていた。その工程すべてを撮影の前段階で行うのがインカメラVFXだと紹介した。
インカメラVFXを使うと、撮影現場で目に見える形でショットに収められるため、従来のポストプロダクション作業を軽減できると語った。
会場のライブデモでは、3つのコーナーを用意してインカメラVFX技術を紹介。1つ目は2DインカメラVFXで、車の窓の外に見える背景に2D背景素材を映し出してさまざまな国の運転を再現する「ドライビングコンプ」。2つ目は2DインカメラVFXで、室内の窓抜けの外側風景をLEDスクリーンで再現する「ウィンドウコンプ」。3つ目は3DインカメラVFXで、ゲームエンジンから出力されるCG映像をLEDスクリーンに投影して、キャンプ場のシーンの再現を実演した。
ロケ地の自由度、天候に左右されない、セッティング時間の節約などがバーチャルプロダクションの利点
特殊映材社の伊藤俊介氏は、2DインカメラVFXのドライビングコンプから紹介。グリーンバックの問題として、映り込みが多くなるとポスト作業に大幅な時間がとられてしまう。例えば人の顔にも緑が映ってしまい、顔のグリーンを除去するのに手間がかかる上に、ガラスの質感が失われる可能性もあるという。
一方、LEDは海外における走行シーンの再現が可能。フロントから運転手の方に回り込む際に、車体のボンネットやピラー、ガラスに映りの表現ができている。人の顔に出ている影響光が非常にリアルと紹介した。
伊藤氏は、バーチャルプロダクションの利点として5つのポイントを挙げた。
1点目は、ロケ地の選択に自由度があること。国内でも撮影の困難な場所が増えているが、撮影場所の選択が共有しやすいという。
2点目は、天候に左右されないこと。晴れの時に背景を撮っていれば、晴れの設定をスタジオで再現可能。天候に左右されずに撮影できるのは非常に優秀だとした。
3つ目は、セッティング時間の節約。ロケでもう1回撮影したいときに、車は15分から20分かけないと元の位置に戻れないことがあるが、背景を撮っておけばすぐに好きなタイムラインに戻して撮影が可能と挙げた。
4つ目は、スカイラインのような撮影時間に制約があるものも、非常に撮りやすくなるという。
5つ目は、役者はグリーンバック撮影だと状況を把握しにくく、違和感のある映像になることがあるが、リアルを感じるのは些細な顔への光であり、LEDはそのあたりがナチュラルに表現できると紹介した。
バーチャルプロダクションはLEDパネルのみで成立するものではない
次にデジタル・フロンティアのディレクター、前川英章氏はCGに絡んだ技術を紹介した。LEDに投影されるCG映像にはパースの変化が起きていて、それによって馴染みの良いリアルな映像を実現可能にしている。カメラの映像とコンピュータの映像を同期させるために、カメラ本体にカメラトラッキングシステムを使用しているという。
モーシス・エンジニアリング社のスタートラッカーシステムを使用しており、カメラ本体に上向きのセンサーユニットを取り付ける。天井に貼り付けたマーカーの位置を撮影して、画像の分布によってカメラの位置、カメラの高さ、角度を計算して、数値をコンピューターに送る。その数値が、現実の空間の位置関係とCG内の位置関係を結ぶ渡しになるという。
数値を入れた先のコンピューターは、Unreal Engineと呼ばれるEpic Games社のソフトウェアで、CGをレンダリングする。Unreal Engine自体はゲームを表示するためのシステムとして開発されたが、バージョンが進んで高度な画の出力が可能になり、ハリウッドなどのバーチャルプロダクションなどで多用されているという。
Unreal Engineでレンダリングした画は24枚/秒のCGだが、それをクリエイティブテクノロジーのPlater PerformerシステムにUnreal Engineの映像を入力して、LEDスクリーンに表示する。LEDスクリーンには境目があり、実際にカメラに映っている部分を「インナーフラスタム」と呼ぶ。フラスタムとは視錐台の意味で、カメラトラッキングと連動しており、LEDスクリーンにCGの窓を開けて先を覗いている状態で、中は4Kでレンダリングされる。
インナーフラスタムの外側の部分はアウターフラスタムと呼び、カメラに写る外側の部分になる。インナーフラスタムは実際に撮影する部分で、ここは4Kの高精細な映像が欲しい。しかし、LEDスクリーンの特性として環境光を最大限に活かすために、LEDスクリーン全体にも映像を表示したい。そこでいったんインナーフレーム自体は4Kでレンダリングし、アウターフレームにはHD映像を入れる。そういった差をつけて、インナーフラスタムには高精細な映像、アウターフラスタムは映像の精度はそこまで必要ではなく、環境光のための映像を作り出しているという。
それ以外にも、リアルタイムエンジンのメリットとして、岩を少し動かしたいと思えば動かせる。風景を自由に変えることができると紹介した。監督、撮影監督の意図を反映した、画作りが可能。風景は、フォトグラメトリーと呼ばれる写真をベースにしたモデリングやレーザースキャンをモデルにしたものを使用しているという。
また、照明は全てDMXで制御可能で、現場では、太陽の位置、照明の位置、光の見え方を微調整が可能。CGプロダクションの中だけでなく、現場で画を確認しながら調整できるのもメリットだ。
最後に、前川氏は基本的にこれまでのVFXは、撮影されたフレームに対してピクセル単位で合成して、良好な画だったらOKだったと振り返る。しかし、バーチャルプロダクションでは、撮影部だけでなく、撮影、照明、美術、VFXと各部が融合した技術を学ばなければいけない。みんなが知見を得て学習する必要があることを指摘した。
グリーンバックとLEDの使い分けは費用対効果で考える
最後に伊藤氏がグリーンバックとLEDスクリーンの使い分けを紹介した。LEDスクリーンはいいことばかりではなく、値段も高く、設置するのに時間かかる。そこで目安として紹介したのは、2〜3カットだけLEDスクリーンを使いたい場合は費用対効果が悪いため、グリーンバックを推奨するとしていた。
ただ、ドライビングコンプが20〜30カットある場合は、確実にLEDスクリーンを推奨するとしていた。俳優は今どこを走っていて、何をしているのかをはっきり理解して撮影できるメリットは大きいという。グリーンバックの撮影は、キャストの身体に乗っている緑を消す作業を考慮すると、20〜30カットあるのであれば、費用対効果的にはLEDスクリーンのほうがよくなるという考えを紹介した。
まとめとして、今回のLEDスクリーンのイベントは簡単に実現できたわけではなく、4月1日にステージに入っての状態にセットアップし、シュートできるまで約10日間かけて設置された。3社合同で行ったが、ところどころ上手くいかないことも発生したと語った。
海外ではLEDスクリーンを活用する撮影が進んでいるが、最初は失敗から学んで現在に至るという。国内の現場でも、積極的に学んでいき、最終的にはLEDスクリーンは怖くない、積極的に活用できたらと語って講演を締め括った。
