バーチャルプロダクションを体験して：CGスタッフインタビュー。インカメラVFXが実現する撮影現場の未来像

平嶋氏（REALIZE）：

主にREALIZEチームはBlueprintなどのテクニカルな部分を担当し、ビジュアル部分などのCG制作はLUDENSが制作しました。もともと、CG・VFXをはじめとする映像制作を担うのはLUDENS、新たな映像表現を目指すコンテンツ制作はREALIZEという棲み分けはありました。

山田氏（LUDENS）：

TREEの前身の会社で株式会社デジタル・ガーデンというポストプロダクション業務をメインとする会社がありました。そこにCG部門のVisual Communication Design Dept.があり、その時代からVR、ARをはじめとしたインタラクティブコンテンツを手掛けていました。

山田氏（LUDENS）：

そうです。CG発信ですね。

平嶋氏（REALIZE）：

Unreal Engineはかなり初期から注目しており、旧デジタル・ガーデン時代の2015～2016年頃から用いています。

平嶋氏（REALIZE）：

ゲームに近いインタラクティブコンテンツ制作のような時に使用していました。プロダクトやコマーシャルの現場からCGをもらうことがありまして、それを活用できないかみたいなことでスタートしました。

山田氏（LUDENS）：

インタラクティブコンテンツ制作には、業界の中でもいち早く取り組んできたと自負しています。リアルタイムの描画に関しては、いろいろソフトを試して可能性を常に探っていました。
そういうところからスタートしているので、リアルタイムに作られるCG映像に対して拒否反応とかはありませんでした。要はCMの考え方は、短時間でクオリティが出せれば手法は特に問いません。そんなひとつの選択肢として始まりました。

YUAN氏（LUDENS）：

電車の中はほぼ作りました。

平嶋氏（REALIZE）：

駅の中は、監督が前に作られていたアセットをいただいて、それをベースにしている感じです。ホームも、オリジナルです。

YUAN氏（LUDENS）：

モデリング自体はMayaで、テクスチャはsubstanceなどを使いました。

山田氏（LUDENS）：

いえ、ソフトウェアをまたぐ作業に関しては曖昧ではなくて、「プログラムチーム」「ビジュアルを作るチーム」で完全に分かれています。YUANがプログラムを書くことはほぼないですし、根岸がモデリングをすることはありません。

YUAN氏（LUDENS）：

そうですね。モデリングができたらUnreal Engineに持っていき、ワールドを構築、ライティングするまでがLUDENSです。

平嶋氏（REALIZE）：

例えば今回のMVでいうと、電車のつり革が揺れていました。その揺れは単純にアニメーションではなく、プログラムだと簡単に実現することができます。
そういう部分を根岸がコントロールしました。YUANが「こういう風に動かしたい」という指示を根岸にリクエストして、根岸が実現する流れでした。

根岸氏（REALIZE）：

つり革はローテーションの角度をずっと計算しています。

根岸氏（REALIZE）：

そうです。

YUAN氏（LUDENS）：

色味と温度感、コントラストの強さなどを修正しました。現場で実際に照明がセッティングされた状態で確認をしたところ、やはり修正したいところがありました。Unreal Engineにポストプロセスエフェクトというグレーディングのような調整が可能な機能がありまして、そちらで調節を行いました。

古賀氏（CRANK）：

ヒビノのスタジオではLEDのピッチを確認したり、モアレの発生の有無を確認しました。

古賀氏（CRANK）：

テストの時点から本番と同じARRIのALEXA Mini LFとシグマのシネマレンズでチェックをしました。

山田氏（LUDENS）：

CRANKというよりも、TREE社内だから実現できたことですね。

平嶋氏（REALIZE）：

演出的には確かに多少変わった部分はありますが、その時点でライティングも入れていただいて、何度もテストを行いました。
こちらでカメラマンさんと監督と相談しながら直したので、本番で急に色々なことが変わることはありませんでした。

古賀氏（CRANK）：

正直、僕がCG、Unreal Engine、システムのことに関して初めてだったこともありますし、全て理解できたわけではありません。しかし、ヒビノさんチームには僕の言葉で問題点やよりよくするための提案をし、理解していただきました。言葉は違いましたが、まったく伝わらなかったということはありませんでした。

古賀氏（CRANK）：

フォーカスの深度感の調整は実際の本番でもやってもらいました。そこがひとつ難しい部分で、テストを3回できたのはよかったと思っています。
カメラのレンズの絞りをどの程度にしておけば馴染むのか？レンズの絞りを決めたうえで、CGの中の世界とも連動しているのですけれども、そもそもの深度感がカットごとにレンズを変えることによって馴染まないときもあり、そこは正直感覚で対応しました。

平嶋氏（REALIZE）：

disguiseの中でも、厳密に合わせていけば実際のカメラのボケ感をF値によってシミュレートすることは可能ですが、実質そこまで追い込めていない状況でした。
本当はきちんとF値を入れて、シャッタースピードを入れて、レンズのmm数を入れれば、同じボケ味になるところまで追い込める機材ではありますが、今回はまだそこまではできていないのが実情でした。

平嶋氏（REALIZE）：

プレッシャーはほぼなくて作業がやりやすかったです。CG出身の監督ですので専門用語で伝わるし、あとこちらの苦労を察してくださる（笑）。

山田氏（LUDENS）：

「これって大変ですよね」が通じるんです（笑）。

平嶋氏（REALIZE）：

しかも指示も明確だし、大変わかりやすい監督でしたね。

古賀氏（CRANK）：

僕ら撮影部的にやりづらかったことはありませんでした。
監督が常に現場でイメージを的確に伝えてくれたので、僕らもそれを実現するための作業がしやすかったです。

平嶋氏（REALIZE）：

照明的なことですが、Unreal Engineはゲーム制作のためのソフトウェアで、副産物的にVFXで使われることが増えてます。しかし、もともとの考え方はリアルタイム表示するためのもので、プリレンダリングの考え方はやはり薄いです。光の考え方も、ゲーム寄りの考え方を取り入れています。
つまり、変化しない影の部分や光の反射などはレンダリングされたものを貼り付けるなどして、いちいち計算をかけず、ある程度処理をショートカットさせることで描画の速度を上げているのがUnreal Engineの考え方です。

平嶋氏（REALIZE）：

そうですね。つまり、光の当たり方などを事前にシミュレートしている感じです。対して、V-Rayなどのレンダラーは、きちんと物理的に正しいライティングを計算していきます。なので、ライトが変われば計算結果が変わるので、すべてレンダリングし直しになります。
Unreal Engineは事前に計算しているので、ライトを変更しても影響が出ません。もしくはかなり大きく変えたければ事前に計算を一度やり直さなければいけません。となると、現場で変えられることは限られてきているのが今の実情なのです。
これを解決するのはハードウェアの進化しかなく、ハードウェアが高速になれば、この2つの境界も限りなくなくなり、変更しても一瞬で反映させられる時代が恐らく数年以内には来るのではないかなと思います。

平嶋氏（REALIZE）：

だいぶ変わると思います。今のNVIDIA AシリーズのGPUも大幅に高速化され、相当処理速度は跳ね上がることが予想されます。おそらくもうあと何世代か後のGPUとUnreal Engine 5.0の組み合わせで、リアルタイムにレイトレーシングすべての計算ができるのではないかと予想されます。
そうすると恐らく待ち時間はなくなります。何ルーメンの照明をここに置いたら、それと同じ光のシミュレートができるようになるでしょう。CGデザイナーがUnreal Engineを触る必要性があまりなくなり、照明技師が直接Unreal Engineの中でライトを組めばいいし、美術デザイナーはそこでセットを立てればいい時代がくるかもしれません。
そういうツールになっていくのではないかと思っています。そうなるとバーチャルプロダクションに対する関わり方が変わるのではないかなと考えています。

石ヶ谷氏（REALIZE）：

バーチャルプロダクションは選択肢の一つであり、今回の「泣き地蔵」MVでは、当初すべてバーチャルウォールを使って撮影していく予定でテストを行いました。
しかし、「やはり美術だけでやろう」というシーンもでてきて、金網シーンは美術だけでした。バーチャルウォールが適しているシーンもあり、それがわかれることによって作品のクオリティも上がってくる。つまり「用途」によっての使い分けです。それも複数回テストを行って次第にわかってきました。
また、バーチャルウォールは3mの高さがあっても、カメラを引くと画角が足りず、ポストで合成してもらうことになりました。今回はグループ会社のAOI Pro.だったのでTREE社内でもうまく連携できましたが、今後カメラマンさんや照明部さん、美術部さんでトータル的に理解を深めていくのは必要だなと思いました。

山田氏（LUDENS）：

結局バーチャルプロダクションは、どこがゴールなのか？みたいな話になると思います。今はCGの世界を無理やり撮影側のところまでギリギリまで引っ張り出している状態じゃないですか？それをバーチャルプロダクションと呼んでも、僕はいまいちピンと来なくて、綱引きになっていると思います。

山田氏（LUDENS）：

そうです。LEDディスプレイというのが見た目上でも分かりやすいですが、LEDの向こう側がCGの領域。LEDのこっち側が撮影の領域といった具合に綱引きの勝負ラインにもなっている。そこで両者が引っ張り合いをしているイメージです。
この先の話をすると、先ほど平嶋が言ったように、CGの計算速度が上がって、ライティングもポンって置いたらリアルと同じようになると予想しています。
さらに言えば、実際のライティングもせず、カメラも置かずに、完全にCG空間の中で撮影からライティングまで行われるのが、「真のバーチャルプロダクション」だと思っています。
将来的にはフルバーチャルとなり、実際と変わらないものが完全バーチャル空間でできるようにならないとツールのひとつとしては選択されないと思います。
今後、制作予算を増やすのは難しいでしょうが、それでも「処理が遅くなります」とか「クオリティが落ちます」は絶対なくて、高速かつきれいになっていくことが求められるでしょうね。

古賀氏（CRANK）：

はい。グリーンバックはありまして、グリーンでのバーチャルプロダクションも経験したことがあるのですけれども、LEDでの撮影は初めてでした。完全に答えは出し切れてないんですけど、まだやれてないいろいろな可能性があるのではないかと思っています。

根岸氏（REALIZE）：

私自身、エンジニアなので撮影に関しての知識がまだありません。しかし今後は、現場との垣根がなくなってきて、エンジニアも撮影現場に立ち会うのが必要だと思っています。僕らもおそらく、撮影側に歩み寄っていく必要があるのではないかと思ってます。

YUAN氏（LUDENS）：

CGによるバーチャル世界となると、CGデザイナーとしてもカメラと照明についてもっと勉強しなければならないと感じています。
今回のMV「泣き地蔵」でも、ライティングとリアルタイムで再生させるためのモデリングデータの軽さとクオリティのバランスを追求しましたが、まだまだ最適化して軽くできる余地はあると思います。さらなる技術の向上を目指していきたいと思います。