CGの祭典SIGGRAPH2021開催！リアルタイムCG映像の共演

リアルタイムCG映像の共演、Real-Time Live!

SIGGRAPHの目玉イベントの一つ「Real-Time Live!」を紹介する。

これはその名のとおり、ゲーム映像や、VR/AR系の映像、インタラクティブにその場で変化する映像や、デモシーンやメガデモといったプログラミングテクニックで実時間（リアルタイム）で映像生成されるCGに限定したライブイベントだ。これまでであれば、SIGGRAPH開催中、夜の注目イベントとして、数千人入る会場に集まりデモ準備をする発表者の緊張や、トラブルに焦っている発表者を見ながら一緒に盛り上がるイベントであった。

この注目のReal-Time Live!も、SIGGRAPH 2021の全面的なオンライン開催の影響で「ライブ」ではあるものの、ネット越しに視聴することになった。SIGGRAPH 2021 Real-Time Live!は、YouTube Liveでも配信が行われ、アーカイブも残されている。つまり、SIGGRPAHの有料参加者でなくとも、誰でも1時間ほどの発表を全て無料で観ることができるのだ。

本編の前に、前座としてデモシーンで活躍する2人のアーティストを召喚し、ライブコーディングに関するセッションが行われた。その場でCGを生成するプログラミングをしながら、生成された映像を見てもらうのだ。

　 　　

FLOPINE（@FlopineYeah）、THRONO CRIGGER（@CriggerThrono）の2人によるセッションの様子は事前収録版が公開されている。

※セッションの中でも紹介されているが、今年の冬に開催されるSIGGRAPH ASIA 2021でもデモシーンに注目したイベントが予定されている

The LiViCi Music Series : Real-Time Immersive Musical Circus Performance

サーカスの演者の動きリアルタイムモーションキャプチャでデータ取得し、VR空間にCGキャラクタとして登場させる。実写映像が影となって投影されており、リアルとバーチャルが逆になったかのような不思議な感覚のVR空間を楽しめる。

サーカス＋モーションキャプチャ＋バーチャルプロダクションを組み合わせたら、どんな面白いことができるか挑戦してみたプロジェクトとのこと。CGで描くサーカスであれば人間には不可能な複雑でアクロバティックな動きもできるところを、あえてモーションキャプチャでリアルタイムに演じているところが従来にはないアプローチであった。

I am AI : AI-driven Digital Avatar Made Easy

1枚の顔写真から、VR空間のキャラクター、ビデオ会議用にとても簡単にアバターを作る手法の紹介。NVIDIA研究所による、人工知能（ディープラーニング）を研究を活用したもの。ビデオ会議においても、ビデオ映像用に大量のデータを送受信するのではなく、1枚の顔画像と、顔の変化量を示す少量の値をいくつか送信するだけで、受け手側が顔の動きを再構成する仕組み。

さらに、周囲の騒音がうるさい時は、話す内容と文字でタイプすることで、相手には合成された音声で聞こえるといったビデオ会議用には至れり尽くせりの活用例だ。自分の顔写真だけでなく、AIが自動生成した存在しない顔写真を活用することもできる。

ハイエンドのグラフィックス環境RTX GPUを利用してやっと20fpsで描画可能な程度であり、アバターの立ち振る舞いもまだまだ、ぎごちなさは否めないが、これからものすごいスピードで改善、進化していくものと思われる。今年のReal-Time Live!のBest in Show（最優秀賞）を受賞。

Shading Rig: Dynamic Art-Directable Stylised Shading for 3D Characters

トゥーンシェーディングと呼ばれる手法を使い、手書きのアニメ風の画像を3DCGで生み出す場合、アーティファクトと呼ばれる意図しない影や線、違和感のある描画状態が生まれることがある。これらのアーティファクトを除去するためにいくつか描画を滑らかにするアプローチがあるが、通常そのままだと、のっぺりとした描画結果になってしまう。そこで、Shading Rigではアーティストが最終的な描き方をコントロールすることのできる、新しい手法のツールを提案している。

Coretet : Virtual Reality Musical Instruments for the 21st Century

VR環境で古典的な楽器をジェスチャや手の動きで仮想的に演奏する試み。一般的な楽器以外にもVRならではの新しいタイプの楽器も提案している。楽器は長い時間をかけて今の完成形になっており、かつ演奏のためには習熟が必要なことが、VRゲームとは異なる要素だと考えられる。

また現在のVRコントローラの場合、正確な位置をポインティングするのが難しいため、テルミンのような揺らいだ音しか出すことができていない。ただし、現在の管弦楽器も美しい音を出すには相当な習熟と練習が必要であることから、VR演奏家もこれから生まれてくるのかもしれない。

Technical Art Behind The Animated Short "Windup"

「WiNDUP」という短編作品の制作にリアルタイムCGを活用した事例の紹介。ゲームエンジンとして広く使われているUnityを活用して3DCG短編作品を制作。タイムライン機能をうまく活用し、カメラの移動や樹木の揺れを調整したり、Unityでは表現が難しい「窓の氷」のシーン用に個別にプログラムを書いて対応したりしたとのこと。

Future Classroom

CGプログラミングの世界では欠かせないPerlinノイズの発案者Ken Perlin氏らによる、未来の教室の提案。教育用途としてZOOM等のテレビ会議は不十分であり、VR没入型のプラットフォームによって新しい教育環境を提案するもの。

Normalized Avatar Digitization for Communication in VR

人間の顔写真を1枚使い、StyleGANという画像生成用の人工知能フレームワークの力を借り、3Dの顔を作成。またそれに加えて骨格の設定された3Dの身体も用意される。最新のVR用ヘッドマウントディスプレイを用いると、VR空間に登場したアバターは、動きに追従し、話す時にはVRキャラクタの唇も同期して動くようになる。

以上。Real-Time Live!でオンラインデモが行われたプロダクトや研究を全て紹介した。コロナ禍においてVRを活用したコミュニケーションが促進されるとともに、と人のコミュニケーションの大切さや難しさが浮き彫りになってきていると、業界全体が考えつつある。

オンライン配信で楽しむElectronic Theater、短編CG作品の数々

SIGGRAPHでは様々な分野からCG短編作品を集めComputer Animation Festival（CAF）/Electronic Theaterとして上映が行われる。例年のSIGGRAPHでは数千人規模の大劇場で上映されたが、今年はオンライン視聴の形式となった。

オンラインならではの試みとして、過去の作品を含めたディレクターズカットの配信、受賞者へのインタビュー、受賞映像のメイキング公開など、普段の上映では見られない特典が用意されていた。

Electronic Theaterの作品は、短編作品、長編映画の特殊効果、視覚効果を狙った実験的作品、ゲーム映像、広告映像、科学映像など多岐にわたり、オリジナリティやストーリー性、挑戦的な新技術の活用などが評価される。

審査員は国際色豊かな多様性に配慮が行き届いたメンバー構成で、400本を超える応募作品の中から上映作品が選ばれる。さらに毎年のSIGGRAPH CAFの最優秀賞作品は、アカデミー賞短編アニメーション部門へのノミネートが検討される。今年の受賞作は次のとおり。

2021年SIGGRAPH CAF（Computer Animation Festival）受賞作品

Best in Show（最優秀賞）

作品名：Migrants
制作：フランス PÔLE 3D Digital & Creative School

Migrants（移民）は地球温暖化の影響で住処から追放された2頭のホッキョクグマの話。ホッキョクグマは旅の途中でヒグマと出会い、一緒に暮らそうとするが、そう上手くはいかない。毛糸で作られたぬいぐるみのような独特の質感を持ったキャラクタで表現されており、映像を見ているだけでも触りたくなってくる。良く見るとお尻にぬいぐるみのタグが付いている！フランスのデザイン関連の専門学校「POLE 3D」の学生らによる作品。

Jury‘s Choice（審査員賞）

作品名：Meerkat
制作：ニュージーランド WETA DIGITAL

バーチャルプロダクション用途にも使われる描画性能の秀でたゲームエンジンであるUnreal Engine 4.26の最新機能を活用し、何百万本ものファー（毛皮）とフェザー（羽）をリアルタイム描画で実現した作品。制作は「ハリー・ポッター」シリーズのVFXで一躍国家的事業になったニュージーランドのCGプロダクションWETA DIGITALによるもの。

従来型の映像制作であれば、プリビズ（PreViz:Pre-Visualization:演出や画角やカメラ撮影方向などの確認のために簡易的な3DCGを作って事前に確認する作業）を制作し、動きの修正や質感、照明の修正、演出効果などを考えた上で高精細な高クオリティな映像を、時間をかけて制作していた。

Unreal Engine等の高品質なリアルタイム描画が可能なゲームエンジンの台頭で、従来試作と完成版の間にかかっていた時間が無くなり、映像を完成させるまでの試行錯誤のスピードや、やり直し、調整のスピードが意識しなくても良いほど素早く行えることによって、映像制作のワークフロー、全体の流れまでが変わってきている。

今までであれば、映像制作の後工程のスケジュールを意識してしまうため、心残りでも制作の途中で切り上げ、次の工程に進んでしまうことがあるが、ゲームエンジンを活用したワークフローでは、スケジュールぎりぎりまで品質を追求することができるとのこと。

本作品はWETA DIGITALの、実時間でリアルな40万本のファー（毛皮）と250万本のフェザー（羽）を扱った映像作品が作れるというひとつの証明になっている。わざわざ言及されてはいないが、将来的にはフクロウや魔法の生き物が登場する「ハリー・ポッター」ほどの映画がリアルタイムで制作される時代も近いかもしれない。この作品はCOVID-19の影響で大きなデモ展示がキャンセルになり、家にこもって作業を続けるなかで生まれた事例だそう。

Best Student Project（学生プロジェクト優秀賞）

作品名：I am a Pebble
制作：フランス Maxime Le Chapelain（ESMA）

"I am a Pebble"（Pebbleは小石のこと）は、家族と孤独について描いた心温まる物語だ。川の土手に住む他の動物とは距離を置いた、幼いカワウソは石の上で一人遊びをしている。石の横に寝転がると、カワウソは石を親しい家族のように扱い、水の中を泳いだり、探検する冒険に繰り出す。パステル画で描いたようなCG作品だ。

続くレポートでは、SIGGRAPH 2021で披露された映像関連の最新テクノロジーをお届けする予定だ。