「メタバース プロダクション」の見せるバーチャルプロダクションの未来像

東北新社・電通クリエーティブX・電通クリエーティブキューブ・ヒビノの共同プロジェクトの新しい試み

このシリーズでも度々取り上げているLEDを使ったInCameraVFXという撮影技術、バーチャルプロダクションと一括りにされることが多いが、今までの撮影方法とは異なるジャンルの知識を要するため、既存の撮影現場に浸透するにはまだまだ時間がかかっているという印象を受ける。

そんな中、2022年初めに東北新社グループ・電通クリエーティブX・電通クリエーティブキューブ・ヒビノの4社で「メタバース プロダクション」という共同プロジェクトを組んだという話は衝撃を受けた。

それに関してはPRONEWS「電通クリエーティブX、東北新社、ヒビノの『メタバース プロダクション』インタビュー」に詳しく掲載されている。

今回、そのメタバース プロダクションがstudio PX HIBINOにてUnreal Engine 5（以下：UE5）での撮影テストを行うということで、私自身も撮影協力で参加させてもらった。

メタバース プロダクションがUE5を使った撮影テストを実施

Epic GamesのUnreal Engineというゲームエンジンは、バーチャルプロダクションにおいてほとんどのシステムで基幹となっているアプリケーションだ。メタバース プロダクションのInCameraVFXのシステムを担うヒビノもdisguiseというメディアサーバーを使用しているが、Unreal Engineと連動して稼働している。

そのUnreal Engineが、2022年4月にバージョン5というメジャーアップデートによって大きく様変わりした。これはフォトリアルを大前提とするバーチャルプロダクションにとっては願ってもない機能を搭載したバージョンアップになっている。今回のテストは、そのUE5を実装して検証するというテストだ。

さて、そのUE5が新しく取り入れた注目すべき技術が「Nanite」と「Lumen」の二つである。

調整したライトの反応をその場で確認できる「Nanite」

Naniteについては、荒っぽく簡単に言ってしまうと新しいポリゴン処理の技術で、かなり精細なモデルでもリアルタイムに処理できて、遠くになるとポリゴン数の少ない簡易モデルに置き換えるという「LOD（詳細度）」の設定を自動で、しかも変わっていることを感じさせない精度で行ってくれるという画期的な技術なのである。

今回テストに使用した株式会社ヒストリアの「The Market of Light」というアセットは、約49億ポリゴンというゲーム用環境では本来考えられないようなポリゴン数だが、30fps以上で問題なく動作していた。

調整したライトの反応をその場で確認できる「Lumen」

そして、撮影監督の自分としてNanite以上に注目しているのが、もう一つの新機能Lumenである。

3DCGの照明技術にはレイトレーシングという方法が、もう半世紀近く「神」のように存在している。現実世界では、光はモノに当たって影を落とす、というシンプルなことだけではなく、光の当たった地面の反射や近くにある物体からの影響光、それらが反射するたびに光質が柔らかく減衰していくといった現象が起こっている。レイトレーシングはそれらを全て計算で導き出す技術で、ものすごい時間がかかる、というのが定説だった。

ゲームのようなリアルタイムレンダリングでは、それをライトマップという方法で解決している。動かない部分のライティングは事前に計算して背景に影やハイライトを書き込んでおいてしまうのだ。

これはリアルタイムを重要視するゲームの世界では常識としてあるのだが、実写の世界の自分のような人間にとっては異文化でしかなかった。バーチャルプロダクションを最初に経験した頃は、そこに存在する全ての照明の要素を消しているにもかかわらず、ぼんやりと全体が見えることに、かなり戸惑いを覚えた。一度書き込んでしまった明りや影はもう一度ライトマップをビルドしなおすという作業しない限りそこに残り続け、それの修正にかなりの時間を要したのだ。これが実写のスタッフとCGのチームとで感覚が違うところでコミュニケーションの壁になってしまっていた。

なんと！それがLumenの登場によって、3DCG上で調整したライトの反応をその場で確認できるようになった。手前の実写の世界と同時に撮影するLED InCameraVFXにおいては画期的な変化とも言える。バーチャルプロダクションにおいては主役は実写の登場人物なわけだから、それがベストな状況に背景のCGの方を合わせられることが必携だ。それをLumenは見事にかなえてくれた。

　 　　

　 　　

今回のテストでもヒストリア提供の前述のアセット「The Market of Light」は、元々ゲーム用に開発された環境でもあるため、影の部分が実写よりも明るい設定にされていたが、それを実写の世界のコントラストに近づけることで、その反応がLEDにすぐさま映し出されることから、Lumenが実写との融和性が高いことが分かった。

バーチャルエキストラを検証

もう一つ、テストで検証したかったことにバーチャルエキストラの存在がある。

Unreal EngineにはMetaHumanというフォトリアルな人物をシーン上に読み込める画期的な機能がある。これがかなり面白くNintendo Switchなどで自分のアバターを制作するMiiという機能があるが、それと同じくらいの手軽さでフォトリアルな人物をデザインできる。自分が1年ほど前にMetaHumanで作った自画像の動画が以下。

これをシーンに組み込めるのなら遠景のエキストラを代用させられるのでは？という試みである。今までは人物のようなポリゴン数の多いオブジェクトが多数シーンに組み込まれていると再生速度が追い付かず、結局、その部分だけはポストプロダクションの合成に頼らざるを得ないような本末転倒な状態になってしまっていた。現時点でNaniteがサポートしているのは剛体メッシュと呼ばれる形状が変わらないもので、動いている人のような物体には対応していないが、そういったエキストラを配置することで問題ないか試してみることに大きな意味がある。

開発中の都市の風景の中にMetaHumanと3Dキャプチャされた人物を配置したアセットも検証してみた。動作環境的には十分な手ごたえがあったが、人物の動きなどに関しては、改善していかなければならない部分も感じた。ただ、この数十人いるエキストラを一人ひとり動きを付けていくとすると、とんでもない作業量になってしまう。

そこで、もしかしたら群衆シミュレーションソフトなどを用いるのが良いのでは？と思い、自分で撮影後から数週間、試行錯誤しながら作った動画がこちらになる（同じ人が繰り返し存在したり、みんな手ぶらなのは、今後解決していくので見逃してほしい）。

近景は実際の人物で、遠景のフォーカスの合ってない範囲ならこういった代用の仕方でも十分通用するのではないかという可能性を感じるレベルまでは追い込めた。

このテスト撮影が行われた数日後にUnreal Engine 5.1が発表された。UE5に関しては5.1になって初めてバーチャルプロダクション関連の機能が本番使用可、いわゆるプロダクションレディになったというアナウンスが出た。

メタバース プロダクションでも、CGアセットの提供に関して、設立から担当するオムニバス・ジャパン（東北新社グループ）に加え、ヒストリアと共に弊社Chapter9も参加させてもらうことになった。

ここ数年のバーチャルプロダクションを取り巻く環境は、Unreal Engineだけではなく、カメラトラッカー、LEDディスプレイにいたるまで凄まじい進化を感じる。昨日は使いにくいと思っていたことが、明日には改善されていることが日常茶飯事だ。ゲームエンジンの方が実写の撮影現場にかなり寄り添ってきている今、自分のような実写撮影のフィールドの人間もバーチャルな世界に寄り添ってみる時期が来たような気がする。