Vaundy新曲MVを制作したAOI Pro.＋ヒビノ＋TREE Digital Studioの3社に撮影現場で聞く。コラボレーションの舞台裏インタビュー

小林氏：

AOI Pro.とヒビノが協力するきっかけを教えてください。

平岡氏（AOI Pro.）：

もともとの経緯をご紹介しますと、話は2020年夏頃にさかのぼります。バーチャルプロダクションには弊社グローバルビジネス部、鈴木佳之（エグゼクティブプロデューサー）は早くから注目しており、弊社も取り組まなければと思っていました。早期から取り組むことによって、新しいビジネスチャンスやお客様を見つけたいという目的がありました。
そこでバーチャルプロダクションをサポートするパートナーを考えたときに、私の中では音楽業界の繋がりから、コンサートなどでLEDを多く取り扱っており、技術力が高いヒビノさんにお願いしたいと思っていました。
ヒビノさんに連絡した頃、ちょうどヒビノさんではプロジェクトチームがxRのステージシステムを開発されていたところで、お話を進めさせていただいたというのがスタートです。

芋川氏（ヒビノ）：

2020年9月頃のお話でした。ちょうどライブ配信に向けて弊社はxRのステージ提供を開始しており、そのxRのデモをするのが最初でした。
AOI Pro.の鈴木さんから、海外ドラマ「マンダロリアン」でバーチャルプロダクションは成功していて、北米では少しずつ対応する会社が増えているが、日本ではまだ対応できる会社がないという話をされました。そこで、こういったバーチャルプロダクションができる環境を整えてくれないかというお話を頂きました。
それからは弊社でも、仕組みをどのように行ったらできるのか？どのような機材が必要なのか、色々情報収集して体制を少しずつ整えていきました。

平岡氏（AOI Pro.）：

私達は、実際に「マンダロリアン」のバーチャルプロダクションのシステムを設計したことでも有名な米国ロサンゼルスのLux Machinaにヒビノさんが持っている機材をプレゼンテーションしました。ヒビノさんの保有する機材はLux Machinaが推奨する機材よりクオリティが高く、十分に実現できそうという話になってきました。
私としてはバーチャルプロダクションの実現は相当困難なのかなと思っていましたが、さすがヒビノさんでは、すでに機材が揃っている状況でした。

芋川氏（ヒビノ）：

弊社ではバーチャルプロダクションの肝となるメディアサーバーのdisguiseをもともと保有し、運用していました。今回、弊社が追加で投資したものはカメラトラッキングシステムのRedSpyだけです。機材の知識はもともと弊社のオペレーターが持っていました。そういうことで比較的取り組みやすかったですね。
AOI Pro.の鈴木さんに調整していただいて、Lux MachinaのCEO ザック･アレクサンダー氏と、すでに面識のあったアシスタントのローレンポール氏とオンラインミーティングを2020年12月に行いました。元々Lux MachinaさんはEpic GamesさんのUnreal Engineが従来のメディアサーバーと同じように機能できるワークフローを開発し活用されていましたが、弊社はdisguiseのメディアサーバーを使ったものでインカメラVFXを実現したいと話をしました。

小林氏：

Lux MachinaのインカメラVFXはdisguiseではなかったということですか？

芋川氏（ヒビノ）：

そうです。Lux Machinaさんは、高スペックのノードを何台か組み合わせてnDisplayを最大限に使うシステムを活用していました。それに対して弊社はdisguiseで実現する方向を考えていました。
disguiseの利点をお伝えするプレゼンを12月に行いました。そのときはザック社長に「disguiseの利点は分かるけど撮影業界では未知の領域だよね」と指摘されました。Unreal Engineには色々優れたツールがあるけれど、disguiseのシステムが使えるのか?など、たくさんのアドバイスをいただきました。
例えばバーチャルスターティングであったりマルチユーザーエディターなどのご指摘もいただきました。それも一つずつ解決し、弊社はすべて対応できるようにしました。レイテンシーも60fps収録と30fpsや24fpsで収録するのでは、1フレームの重みが全然違うとご指摘いただきました。メディアサーバーメーカーのdisguiseの開発の方にもいろいろ協力をしていただきまして、我々のバーチャルプロダクションスタジオHibino VFX Studioの運用を開始することができました。

平岡氏（AOI Pro.）：

本番（撮影）までに何回かテストを行いました。今回スタッフに聞いたところ、テストを重ねられたのが大きかったと言っていました。そのテストは、ヒビノさん常設のHibino VFX Studioがないと実現できませんでした。テストが都内でできるのは業界にとっても大変意義のあることで、それがなかったら今回は恐らく制作に至っていなかったと思います。
バーチャルプロダクションはワンオブゼムのツールではありますが、プロダクションサービスの質、バリエーションを増やし高めるためには是非AOI Pro.に取り入れていきたい思いはありました。

菊地氏（ヒビノ）：

バーチャルプロダクションは未知のテクノロジーで、どのように使ったらいいのか誰もがまだ理解していませんでした。そういった中でAOI Pro.さんと一緒に作品を作りたいという思いは強く、毎回注目されるVaundyさんの新曲MVで使って頂いたというのは大きかったと思っています。

小林氏：

スタジオに入ってからの準備と撮影にどれぐらいの日数を費やしましたか？

平嶋氏（TREE）：

まず初日に、撮影で使用する12本のレンズのキャリブレーションをとるために1日を費やしました。2日目にテスト撮影とアングルチェック。そして2日間の撮影で合計4日間です。

小林氏：

Media Gardenを4日間押さえるのはかなり大規模な撮影ですね。バーチャルプロダクションのCGパート制作ではどのような課題がありましたか？

平嶋氏（TREE）：

私達が作成したCGのセットをスタッフ同士で共有するのが大変でした。
私達が手掛けるのは美術ではなくあくまでCGです。普段の工程では出来上がった画にCGを合成していますが、今回は普段のプロセスと逆です。
例えばライティングに関しては、普段は人物などに当たっている光から逆算して「こういう光になるよね」と想定しますが、「演者にこういう光を当てたいから、CGではこういうライティングをしなければいけない」と、撮影時のライティングを想定して、CG上に光を入れる作業がありました。
また、実際にカメラで撮る位置によってオブジェクトの見え方を考慮する必要があり、カメラマンもアングルを見てみないと、何が置いてあるのか見えないので、イメージの共有が難しかったです。
しかし、グリーンバックのバーチャルプロダクションと違ってLEDは背景がリアルタイムで見えるので、多少の共有のしやすさはあると思いました。

小林氏：

そのような中で、どのようにイメージの共有を行いましたか？

平嶋氏（TREE）：

CGのプレビズを見て事前に共有しました。今後、共有の方法やプレビズの仕方も少し変わってくると思います。バーチャルプロダクションが普及してくると、例えばVRで確認なんてことも考えられるかもしれません。まだ皆さん手探り状態ですね。

小林氏：

今回のMVは12本のレンズで撮影したと聞きました。レンズの種類はCGの制作に影響はありますか？

平嶋氏（TREE）：

CG制作には影響はありませんが、disguiseと呼ばれる映し出すシステム側にレンズをキャリブレーションする必要があります。レンズ情報とセンサー情報が合って画角が決まるためです。disguiseの送出装置はヒビノさんで調整されていました。
私達はセットの制作で、レンズはバーチャル空間で調整するので何をいれても大丈夫です。

小林氏：

CGチームはdisguiseで出すことに対して意識することはありましたか？

平嶋氏（TREE）：

どこから撮るかや、セットをスタジオに対してどのように入れておくかを意識しないといけません。電車を横に入れたら撮れないので、縦に入れないといけません。そこで、disguise内のカメラがLEDに対してどこに置かれてどこを向くか、置く向きを意識しながら作る必要があるかと思います。

小林氏：

背景の実写とCG実写のみとバーチャルプロダクション撮影の割合を教えてください。

YUAN氏（TREE）：

背景のあるカットはほぼCGです。７割近くのカットをバーチャルプロダクションで撮影しています。

小林氏：

非常に完成度の高い3D背景だと思っていますが、あれはすべてMegascansから仕入れたものですか？それとも独自で作られたものですか？

YUAN氏（TREE）：

Megascansの3Dライブラリーのものもありますし、モデリングで作ったものもあります。監督のデザインに沿って汚しや形状を作り出しており、Unreal Engineで現場でのライティングやカメラの調整ができるようになっています。

小林氏：

今回3D背景の中で照明効果などで苦労されたところはありますか？

YUAN氏（TREE）：

リアルタイムに再生させるために、軽くする必要がありました。特にライティングの処理は重いので、ベイクと呼ばれるライティングをオブジェクトに焼いて固定してあります。それによって多少は軽くなりましたが、オブジェクト自体に制限ができてしまいますので、そのあたりはいい感じに組み合わせて理想的に見えるように調整をしました。

小林氏：

もともとTREEさんは最終的な仕上げ、レンダリングまでの仕事が多いと思います。環境を納品するというのに、戸惑いみたいなものはありますか？

YUAN氏（TREE）：

ワークフローが大きく変わりました。CGデザイナーの私の視点ですが、普段のワークフローはシーン作り・エフェクト作り・レンダリング・コンポジット・そして仕上げの流れでした。それが、今回はエフェクトとコンポジットなどを統合したシーンを作ってから、環境を整えていく流れに変わりました。また、今回はUnreal Engineを使用していますが、納品先の用途などにより環境の構成を調整する必要があります。Unreal Engineは環境、アセットの管理とパッケージ化が非常にやりやすいです。