txt：安藤幸央 構成：編集部
VFX制作の現場を知るプロダクションギャラリー
SIGGRAPHの人気展示のひとつ、プロダクションギャラリーは昨年から企画がスタートした。SIGGRAPHの中でも比較的新しい展示コーナーだ。各国のCGプロダクションが制作してきた映像制作のための素材、作品などを一同に集めて展示するコーナーであり、今年は、数々のSF映画のデザインも手がけるアメリカの工業デザイナー、シド・ミードの原画展示も併設された。
また、昨年のプロダクションギャラリーで予定に無い中で突発的に開催されたライブドローイングも、今年はプロダクションギャラリー展示の目玉として開催された。今年の展示は、ちょうど劇場公開されたばかりの映画「アベンジャーズ/インフィニティ・ウォー」や映画「ハン・ソロ/スター・ウォーズ・ストーリー」「アントマン＆ワスプ」の衣装や小道具など、ここでしか見られない小道具や衣装にCG映画、VFX映画ファンにとってはたまらない展示の数々であった。
プロダクションギャラリー入り口
映画「ハン・ソロ」で出て来た小道具。ハン・ソロが持っていた幸運のダイス、賭け用の六角形トランプなど
映画「ハン・ソロ」の中でのファルコン号の模型
映画「ハン・ソロ」での衣装
映画「アントマン＆ワスプ」の衣装
映画「アベンジャーズ/インフィニティ・ウォー」の衣装
映画「シュガー・ラッシュ：オンライン」のコンセプトアートの数々
VR作品Crowのコンセプトアート
スクウェア・エニックスとLuminous Productionsが手がけた「生命礼讚 -Out of the Cradle-」のコンセプトアート、制作のリファレンスとなった小道具の紹介。ライブドローイングも実施された
論文発表から、最新の映像技術を紹
各種の派手な展示やデモが開催されるSIGGRAPHであるが、その本分は学会であり、その中心となるのはトップカンファレンスと呼ばれる世界でも有数の採択されるびが難しい技術論文の発表である。SIGGRAPHでの研究分野は、他分野の研究とは大きくことなり、実務と関係性が深く、実際の映画製作の現場で培われた新しい技術が論文発表されたり、また逆に最新の研究発表が次の年には映像製作ツールの新機能としてとりこまれたり、産学の連携がとても強い。
もちろん基礎研究的な地道な研究も大切だが、もうすぐ手に入りそうな最先端の研究発表に期待を膨らませて欲しい。今年は世界38ヶ国から464本の投稿があり、そのうち128本が採択され、それに加えて年次の論文集から39本、合計167本の論文が発表された。その中からPRONEWS読者向けの映像系、動画系の論文をピックアップして紹介しよう。
■SIGGRAPH論文のダイジェスト動画
今年の主立った論文のデモが短時間で見ることができる。
■SIGGRAPHの全論文を1本につき30秒という短い時間で紹介するFast Forwardの収録動画（約1時間半）
■SIGGRAPH論文集の要約（最初の1ページ）
詳細を知りたい方はこちら（約50MB無料ダウンロード）。
■SIGGRAPH論文への研究者、デモ動画、論文、サンプルプログラムのリンク集
現時点では研究開発段階のものが多いが、Web上でデモを試せるもの、ソースコードが公開されていて実際に使ってみることができるツールもいくつか発表された。SIGGRAPHの論文発表はAdobeやMicrosoft、Googleからの研究発表も多く、来年、再来年くらいには市販ツールやスマートフォンアプリ、クラウドサービスなどに組み込まれることが期待される。今年の論文は例年以上に多岐にわたり、カテゴリごとに38種別に分類され、VR関連の発表が目立った年であった。
■Reconstructing Scenes with Mirror and Glass Surfaces
Facebook Reality Labs（研究所）とドイツのダルムシュタット工科大学による共同研究。最近話題になったスパイク・ジョーンズ氏が監督するKENZOの香水のCMでは、巨大な鏡に撮影時のカメラが写り込んでいない摩訶不思議な映像が話題になった。そのCMは綿密なカット割りの設計と、何度も何度も同じ動きの撮影を繰り返すことができるモーションコントロールカメラを駆使し、複数の撮影映像を合成して実現したものだ。
本研究は、大掛かりな機材を必要とせずに、鏡がある空間を正しく3Dスキャンする技術。3Dキャプチャしたデータをもとに、撮影映像の中の鏡にカメラが写り込んでしまう現象を除去することなどが可能になる。用途としては、SNSへの画像や動画投稿時に意図しないものが写り込んでしまうミスを回避するためのものだと考えられるが、映像表現に幅を持たせる手法として期待したい。
■Looking to Listen at the Cocktail Party
Googleの研究所による研究。二人が同時に喋っている動画から音声データをそれぞれ一人づつの会話として分離、抽出する方法。収録動画からの自動文字起こしの技術が注目されつつあるが、精度が高まりつつあるそれらの技術を用いても、複数の人が同時に話はじめてしまうと聖徳太子でないかぎり、聞き分けることが難しい。それらの複数の音声が混在してる動画から、映像に収録された口の動きをヒントにしながら、音声データを一人一人抽出する、人工知能を活用した技術である。
■VisemeNet
トロント大学他の研究。音声データが先にあり、それに合わせてCGキャラクターアニメーションの顔や口の動きを合わせる技術。日本のアニメ製作の手順としては一部を覗き、先にアニメーションが作成されたのち声優が口パクにあわせてセリフをあてる作業を行うが、ハリウッド系のフルCG映画の場合は、俳優が声優が先に声の演技を収録してから、それにあわせて口や顔のアニメーションを完成させる場合が多い。そういった手順のためニーズ先行で研究開発されている技術。VTuberの口や顔の動きにも応用できるかもしれない。
■Synthetic Depth-of-Field with a Single-Camera Mobile Phone
http://graphics.stanford.edu/papers/portrait/wadhwa-portrait-sig18.pdf
スタンフォード大学の研究。ポートレート写真撮影の際、人物そのものはよく撮れた写真の背景が気に入らない時の調整手法。自動マスク生成でのいわゆるポートレート写真化する手法。最新のiPhoneのように2つのカメラ素子を搭載したスマートフォンであれば、背景がボケるポートレート撮影モードをもったものもあるが、本研究はカメラ素子が1つしか無い場合でも人物像のマスクを切り取り、人物と背景を分離し、背景部分のみ、被写界深度を調整した適切なボケ具合でポートレート写真にする技術。複数の人が写っている写真や、人物ではなくオブジェクトに対しても実行できるよう工夫されている。
■FaceVR
VR-HMDをかぶったままで空間共有するビデオ会議の場合、HMDをかぶっているので自分の顔が映らない問題を解決する手法HMDにARマーカーを貼り付けて顔の向きをトラッキングするとともに目の位置をトラッキングして顔と目を再現し再構築する仕組み。
■Stereo Magnification: Learning View Synthesis Using Multiplane Images
カリフォルニア大学バークレー校とGoogleの研究。VR素材撮影用のステレオカメラや、カメラ素子を2個搭載したスマートフォンを活用して、2枚の写真から間を補完した奥行きのある複数視点の映像を自動生成する手法。従来も同様の手法はあったが、平易な機材でも視点自由度の高い映像が生成できるところが特徴。機械学習を用いた仕組みで、屋外用にも屋内用にも利用できるそう。
■Directing Cinematographic Drones
フライングカメラの最適化。ドローンでの撮影などに応用。
■Creating and Chaining Camera Moves for Quadrotor Videography
ドローンによる撮影の際、ビデオフッテージの撮影を最適化する方法。地図から指定して撮影することができる。地形にあわせて、なめらかなカメラの動きを検討、設定するための補助ツールとしての役割を果たす。ドローンの動きだけではどのような映像が撮影できるのか経験や雰囲気でしかわからないため、それらを初心者ドローン撮影者にとっても大規模な屋外シーンの撮影ができるようにする工夫。
以上。SIGGRAPHの論文発表が地に着いた硬派の発表だとすると、それと対称となるのは最新映画で試行錯誤しながら現場で活躍したVFX手法、映像メイキングの数々が紹介される、プロダクションセッションの派手な魅力も見逃せない。盛りだくさんの話題は、続くレポートで紹介する。
txt：安藤幸央 構成：編集部
