Vol.04 CGの祭典SIGGRAPH2021開催!VRからバーチャルプロダクションまで総まとめ[SIGGRAPH2021]

VRが新規性だけでなく、一つの映像作品のジャンルとして浸透

ハイエンドPCを必要とせず、比較的安価で高性能のVRヘッドマウントディスプレイが浸透しはじめている。その影響でVRコンテンツや、コミュニケーション用途のVR活用が広がり、建築設計や映像系エンターテインメント、ビジュアライゼーション、ドローイングなど様々な分野の資金がVRに流れ込んできている。

また従来、VR研究者やVRに将来性を見出したクリエイターが人数で試行錯誤しながらVRコンテンツを制作してきた状況から、映画制作やドラマ制作の専門家やCG/VFXの専門家、3Dゲーム開発、ストーリーテリングの専門家など多くの才能が参入してきている。

今年の注目作の一つは、SIGGRAPHの映像部門入選の常連でもあり、元Pixar、現在はVR専門の映像制作スタジオで活躍されているErick Oh氏のVR作品だ。

今回SIGGRAPH 2021では様々な分野から15のVR作品が採択され、VRシアターとして作品の紹介とメイキングの紹介が行われた。現地開催であれば、劇場形式の古い映画館のような施設で、入館チケットをもらい、座り心地の良い椅子で鑑賞できたのであるが、オンライン開催なので、そうも言っていられない。VR視聴環境の有無に制限される残念さは否めないが今回発表された作品群を紹介しよう。

最近の傾向としてはVRを単に新しい映像表現として扱うだけでなく、没入感のあるVRならではの効果をうまく活用したテーマやVR映像作りが 評価されるようになってきている。

SIGGRAPH 2021 VR Theater Trailer(予告編ダイジェスト 約3分)


Namoo

監督:Erick Oh, Baobab Studios

Namoo Trailer | Baobab Studios | Directed By Erick Oh(予告編 約1分)

韓国語で「木」を意味するNamooという作品は、一般的なCGツールで作られたのではなくQuillと呼ばれるVR空間内でペイントすることのできるツールが活用されている。つまりはCGツールの素養が無くとも、Quillはスケッチやペインティングを得意とする人であれば誰でも、三次元空間にフィーリングでペイントすることによりVRコンテンツが作成できる環境だ。

Namooは一本の木を人生と見立て、監督のErick Ohが祖父の死をきっかけに描いた作品。人物の誕生から人生の終わりまでを様々な思い出や体験とともに描いている。SXSW 2021やサンダンス映画祭の招待作品にもなっている。2Dの映像作品として楽しめるのはもちろん、VRならではの没入感が楽しめる作品だ。


Baba Yaga

監督:Eric Darnell, Baobab Studios

Baba Yaga Official Trailer(2021)Baobab Studios | Now Available on Oculus Quest(約1分)

Baba Yagaは、Namooと同じくBaobab Studiosの作品。監督はフルCGアニメ作品のマダガスカルシリーズで知られるEric Darnell氏。Oculus Experiencesで590円で購入できるVR映像ゲーム作品として配信されている。暗闇の中で輝くランタンを中心に進むストーリが、VR空間での空間演出に効果を発揮している。また360度自由に視線を動かせるが故に、VR演出として難しい視線誘導についてもランタンの光でうまく解決している。

Bodyless

監督:Hsin-Chien Huang

台湾の監督が自分の幼少期の記憶をもとにした現実とも非現実とも受け取れる哲学的なVR作品。プレイヤーは亡くなった政治犯の幽霊となり、VR空間内で身体が無く、魂だけの状態で故郷を探す旅に出る。人間性が失われてしまっている体験をBodylessというテーマで描いている作品。VRの没入感を活かし、単なる映像作品では表現しきれない要素で訴えかけてくる作品になっている。


H2ope

監督:Ashkan Rahgozar & Negin Khojaie, Hoorakhsh Studios

イランのアニメーションスタジオによる約5分間のVRストーリー作品。「もし水がなくなったら、もし水不足になったらどうなるんだろう?」という子供たちの疑問を子供達の視点で描いた教育作品。ゲームとも映像作品とも異なる体験によって、より強く「実感」できるよう工夫されている。

今年のSIGGRAPH 2021の注目はバーチャルプロダクション

先日の記事(Vol.01 CGの祭典SIGGRAPH2021開催!話題の中心はバーチャルプロダクション)でも「マンダロリアン」の大規模バーチャルプロダクションの話題を取り上げた。世界的に国をまたいだ海外ロケや大規模な撮影が困難な中、CG/VFXやバーチャルスタジオ、バーチャルプロダクションの役目は嫌が応にも重要視されてきている。

従来であれば実写ロケのコストとバーチャルプロダクションのコストで天秤にかけられていたところから、求める映像を制作するにはコロナ対策とリスクを取りつつロケを行うか、バーチャルプロダクションしか選択肢が無いという状況になってきたためだ。

従来、バーチャルプロダクション特有の制限事項や映像表現の限界から利用を避けてきた映像制作者もいた。けれどもノウハウが貯まりつつある現在、バーチャルプロダクションの良さと限界を理解しながら、最大限思い描いた演出や映像を表現することに力を入れ始めている。

今回のSIGGRAPH 2021でもバーチャルプロダクションの細かい実務の点で、いくつかの現場のノウハウが共有された。

Colour-managed LED Walls for Virtual Production(カラーマネジメントされたLEDウォールによるバーチャルプロダクション)

現実世界のロケ撮影であれば、日照待ち、晴れ待ちといった状況も多いが、バーチャルプロダクションにはその苦労がない。LEDウォールを用いたバーチャルプロダクションには自由度があるが、LEDウォールに表示されている映像を、撮影用のカメラで捉えた時、まるで本物であるかのような「色味」で撮影が行われる必要がある。これは人間の目でLEDウォールを見て正しい「色味」かどうか判断するのとは異なる。

従来の撮影のようにレンズの色味を理解したり、ホワイトバランスを取るだけでは不十分なのだ。現実世界はとてもコントラスト(明暗差)に満ちているが、LEDウォールの性能が上がってこそいても、そのコントラスト比は現実世界には追いつかない。またLEDウォールの性能によって「色味」が異なり、またLEDウォールの個体差によっても色味が異なるという課題もある。

通常の映像制作で行われている色味調整の流れ、最終的な表示装置に合わせて調整している
一連の撮影ワークフローから、LEDウォールに投影する色味を逆算する流れを解説

そこでDNEG(ダブルネガティブ)社が取り組んだのは最終的な撮影用カメラで撮る映像から、LEDウォールに表示すべき映像を逆算するというものだ。ARRI ALEXAのフィルム相当Log-Cカーブ・広色域で収録した値と、LEDウォールに表示される色の値との相関関係を導き出し、欲しい色味、求めるホワイトバランスでの映像を撮影するには、どのような色をLEDウォールに投影すれば良いのかを細かく解析していったのだ。

ここで最大限配慮されたのはLEDウォールのドットピッチが目立たないような適切な解像度と適切なフォーカス。それとバンディングやポスタリゼーションと呼ばれる色の段階的な変化が目立ってしまう現象や、モアレと呼ばれる、規則正しく並んだ表示装置の場合に目立つ周期ずれの縞模様の影響だ。

また、現場の試行錯誤によってLEDウォールの電源投入後すぐに色調整のキャリブレーションを開始するのではなく真っ白な映像を10分ほど投影し、LEDスクリーンのウォームアップを行なってからの方が映像が安定することがわかったそう(これはLEDウォールの性能や製品特性にもよるが、概ねどの製品でもウォームアップすると良いらしい)。

また単なる色味の表現とは異なり黄色系の色や光をリアルに再現するには、LEDウォールの物理的な性能限界を超えてしまうため、演出そのものや、ポスト処理で工夫する必要が出てくることが分かったそうだ。

The Next Step in Virtual Production(バーチャルプロダクション活用の次の段階)

限られたGPUハードウェアで、8画面分、8台分の画面を同時生成・調整する様子

バーチャルプロダクションで用いられることの多いゲーム描画エンジンUnreal Engineの最新バージョン4.27では、複数の画面出力に対応したり、描画シーンの色や照明をその場で修正したり、バーチャルプロダクション向けの機能が強化された。

バーチャルプロダクションに必要な機能以外をいったんOFFにし高速に描画できるような工夫ともに、スタジオ内でのリアルタイム調整が可能になるようMIDIやDMX、OSCでのコントロールにも対応した(※MIDIは主に楽器のコントロール、DMXは照明機器のコントロールに使われる外部信号、一般的に市販されているMIDIコントローラやiPadなどでバーチャルプロダクションの照明や色をコントロールできるメリットが享受できるようになる。OSCは主にカスタムアプリケーション開発用のコントロールの仕組み)。

これの外部コントロールの仕組みによって、あるタイミングで雷を表示したい。表示されている窓ガラスに、鳥が飛んでいく様子を写り込ませたい。などといった俳優の演技の状況に応じた細かなタイミングコントロールが可能になったのだ。

市販のMIDIキーボードのツマミで、バーチャルプロダクション用背景の照明を調整する様子

またCG/VFXで現実世界を模倣する場合、カメラの動きや素早い物体の動きを表現するためにモーションブラーと呼ばれるブレやボケを表現していた。従来型のバーチャルプロダクションでLEDウォールに投影していたのは動かない背景映像がほとんどだった。

従来表示側でかかるモーションブラーと、実際の撮影カメラで生じるモーションブラーの二重のモーションブラーが生じていたが、新しいUnreal Engineでは背景映像のカメラ移動によるモーションブラー無しで扱えるようになり、違和感が減ったとのこと。

空間内のどの部分をどう撮影し、どの部分をLEDウォールに投影するか検討中の画面

Unreal Engineの開発元Epic Gamesによるとバーチャルプロダクションの利点は、なによりも制作ワークフローのより良い変化と試行錯誤のスピードアップ、より多くの調整が素早くできること。現状は様々な課題をクリアしていく必要があるが、現場と描画エンジンの開発者がより密接に協力し、さらに便利なリアルタイムワークフローをこれからも構築していくそうだ。


以上で、一連のSIGGRAPH 2021レポートは完了となる。

オンラインコンテンツは2021年10月末まで配信を継続しており、10月18日まで登録(有料)受付中となっている。毎年12月に開催されるSIGGRAPH ASIA、 2021年は12月14日~17日に東京国際フォーラム(有楽町)での開催と、3ヶ月間ほどのオンライン配信を組み合わせたハイブリッド環境での開催となる予定だ。

新型コロナウイルスの影響で様々な大規模イベントのキャンセルが続く中、徐々に元の社会に戻ってくることを期待するとともに、オンライン、バーチャルでうまく行き始めた事柄は、より勢いに乗って進歩して欲しいと考えている次第だ。


Vol.03 [SIGGRAPH2021] Vol.01