CGの祭典SIGGRAPH2021! VRからバーチャルプロダクションまで総まとめ

VRが新規性だけでなく、一つの映像作品のジャンルとして浸透

ハイエンドPCを必要とせず、比較的安価で高性能のVRヘッドマウントディスプレイが浸透しはじめている。その影響でVRコンテンツや、コミュニケーション用途のVR活用が広がり、建築設計や映像系エンターテインメント、ビジュアライゼーション、ドローイングなど様々な分野の資金がVRに流れ込んできている。

また従来、VR研究者やVRに将来性を見出したクリエイターが人数で試行錯誤しながらVRコンテンツを制作してきた状況から、映画制作やドラマ制作の専門家やCG/VFXの専門家、3Dゲーム開発、ストーリーテリングの専門家など多くの才能が参入してきている。

今年の注目作の一つは、SIGGRAPHの映像部門入選の常連でもあり、元Pixar、現在はVR専門の映像制作スタジオで活躍されているErick Oh氏のVR作品だ。

今回SIGGRAPH 2021では様々な分野から15のVR作品が採択され、VRシアターとして作品の紹介とメイキングの紹介が行われた。現地開催であれば、劇場形式の古い映画館のような施設で、入館チケットをもらい、座り心地の良い椅子で鑑賞できたのであるが、オンライン開催なので、そうも言っていられない。VR視聴環境の有無に制限される残念さは否めないが今回発表された作品群を紹介しよう。

最近の傾向としてはVRを単に新しい映像表現として扱うだけでなく、没入感のあるVRならではの効果をうまく活用したテーマやVR映像作りが 評価されるようになってきている。

Namoo

監督：Erick Oh, Baobab Studios

韓国語で「木」を意味するNamooという作品は、一般的なCGツールで作られたのではなくQuillと呼ばれるVR空間内でペイントすることのできるツールが活用されている。つまりはCGツールの素養が無くとも、Quillはスケッチやペインティングを得意とする人であれば誰でも、三次元空間にフィーリングでペイントすることによりVRコンテンツが作成できる環境だ。

Namooは一本の木を人生と見立て、監督のErick Ohが祖父の死をきっかけに描いた作品。人物の誕生から人生の終わりまでを様々な思い出や体験とともに描いている。SXSW 2021やサンダンス映画祭の招待作品にもなっている。2Dの映像作品として楽しめるのはもちろん、VRならではの没入感が楽しめる作品だ。

Baba Yaga

監督：Eric Darnell, Baobab Studios

Bodyless

監督：Hsin-Chien Huang

台湾の監督が自分の幼少期の記憶をもとにした現実とも非現実とも受け取れる哲学的なVR作品。プレイヤーは亡くなった政治犯の幽霊となり、VR空間内で身体が無く、魂だけの状態で故郷を探す旅に出る。人間性が失われてしまっている体験をBodylessというテーマで描いている作品。VRの没入感を活かし、単なる映像作品では表現しきれない要素で訴えかけてくる作品になっている。

H2ope

監督：Ashkan Rahgozar & Negin Khojaie, Hoorakhsh Studios

イランのアニメーションスタジオによる約5分間のVRストーリー作品。「もし水がなくなったら、もし水不足になったらどうなるんだろう？」という子供たちの疑問を子供達の視点で描いた教育作品。ゲームとも映像作品とも異なる体験によって、より強く「実感」できるよう工夫されている。

今年のSIGGRAPH 2021の注目はバーチャルプロダクション

先日の記事（Vol.01 CGの祭典SIGGRAPH2021開催！話題の中心はバーチャルプロダクション）でも「マンダロリアン」の大規模バーチャルプロダクションの話題を取り上げた。世界的に国をまたいだ海外ロケや大規模な撮影が困難な中、CG/VFXやバーチャルスタジオ、バーチャルプロダクションの役目は嫌が応にも重要視されてきている。

従来であれば実写ロケのコストとバーチャルプロダクションのコストで天秤にかけられていたところから、求める映像を制作するにはコロナ対策とリスクを取りつつロケを行うか、バーチャルプロダクションしか選択肢が無いという状況になってきたためだ。

従来、バーチャルプロダクション特有の制限事項や映像表現の限界から利用を避けてきた映像制作者もいた。けれどもノウハウが貯まりつつある現在、バーチャルプロダクションの良さと限界を理解しながら、最大限思い描いた演出や映像を表現することに力を入れ始めている。

今回のSIGGRAPH 2021でもバーチャルプロダクションの細かい実務の点で、いくつかの現場のノウハウが共有された。

Colour-managed LED Walls for Virtual Production（カラーマネジメントされたLEDウォールによるバーチャルプロダクション）

現実世界のロケ撮影であれば、日照待ち、晴れ待ちといった状況も多いが、バーチャルプロダクションにはその苦労がない。LEDウォールを用いたバーチャルプロダクションには自由度があるが、LEDウォールに表示されている映像を、撮影用のカメラで捉えた時、まるで本物であるかのような「色味」で撮影が行われる必要がある。これは人間の目でLEDウォールを見て正しい「色味」かどうか判断するのとは異なる。

従来の撮影のようにレンズの色味を理解したり、ホワイトバランスを取るだけでは不十分なのだ。現実世界はとてもコントラスト（明暗差）に満ちているが、LEDウォールの性能が上がってこそいても、そのコントラスト比は現実世界には追いつかない。またLEDウォールの性能によって「色味」が異なり、またLEDウォールの個体差によっても色味が異なるという課題もある。

そこでDNEG（ダブルネガティブ）社が取り組んだのは最終的な撮影用カメラで撮る映像から、LEDウォールに表示すべき映像を逆算するというものだ。ARRI ALEXAのフィルム相当Log-Cカーブ・広色域で収録した値と、LEDウォールに表示される色の値との相関関係を導き出し、欲しい色味、求めるホワイトバランスでの映像を撮影するには、どのような色をLEDウォールに投影すれば良いのかを細かく解析していったのだ。

ここで最大限配慮されたのはLEDウォールのドットピッチが目立たないような適切な解像度と適切なフォーカス。それとバンディングやポスタリゼーションと呼ばれる色の段階的な変化が目立ってしまう現象や、モアレと呼ばれる、規則正しく並んだ表示装置の場合に目立つ周期ずれの縞模様の影響だ。

また、現場の試行錯誤によってLEDウォールの電源投入後すぐに色調整のキャリブレーションを開始するのではなく真っ白な映像を10分ほど投影し、LEDスクリーンのウォームアップを行なってからの方が映像が安定することがわかったそう（これはLEDウォールの性能や製品特性にもよるが、概ねどの製品でもウォームアップすると良いらしい）。

また単なる色味の表現とは異なり黄色系の色や光をリアルに再現するには、LEDウォールの物理的な性能限界を超えてしまうため、演出そのものや、ポスト処理で工夫する必要が出てくることが分かったそうだ。

The Next Step in Virtual Production（バーチャルプロダクション活用の次の段階）

バーチャルプロダクションで用いられることの多いゲーム描画エンジンUnreal Engineの最新バージョン4.27では、複数の画面出力に対応したり、描画シーンの色や照明をその場で修正したり、バーチャルプロダクション向けの機能が強化された。

バーチャルプロダクションに必要な機能以外をいったんOFFにし高速に描画できるような工夫ともに、スタジオ内でのリアルタイム調整が可能になるようMIDIやDMX、OSCでのコントロールにも対応した（※MIDIは主に楽器のコントロール、DMXは照明機器のコントロールに使われる外部信号、一般的に市販されているMIDIコントローラやiPadなどでバーチャルプロダクションの照明や色をコントロールできるメリットが享受できるようになる。OSCは主にカスタムアプリケーション開発用のコントロールの仕組み）。

これの外部コントロールの仕組みによって、あるタイミングで雷を表示したい。表示されている窓ガラスに、鳥が飛んでいく様子を写り込ませたい。などといった俳優の演技の状況に応じた細かなタイミングコントロールが可能になったのだ。

またCG/VFXで現実世界を模倣する場合、カメラの動きや素早い物体の動きを表現するためにモーションブラーと呼ばれるブレやボケを表現していた。従来型のバーチャルプロダクションでLEDウォールに投影していたのは動かない背景映像がほとんどだった。

従来表示側でかかるモーションブラーと、実際の撮影カメラで生じるモーションブラーの二重のモーションブラーが生じていたが、新しいUnreal Engineでは背景映像のカメラ移動によるモーションブラー無しで扱えるようになり、違和感が減ったとのこと。

Unreal Engineの開発元Epic Gamesによるとバーチャルプロダクションの利点は、なによりも制作ワークフローのより良い変化と試行錯誤のスピードアップ、より多くの調整が素早くできること。現状は様々な課題をクリアしていく必要があるが、現場と描画エンジンの開発者がより密接に協力し、さらに便利なリアルタイムワークフローをこれからも構築していくそうだ。