SIGGRAPH論文発表の研究と実用化
各会場で並行して実施される論文発表を、一同にチャンネルをザッピングしながら見られるGeek Barコーナー。数年前から始まった試みで、ネットによる映像配信の仕組みが活かされている。SIGGRAPHは学会であるため、その本分は論文発表にある。自分は研究者ではないから論文なんて関係無いとは思うことなかれ、ここで研究発表されているような先進的な機能が、近い将来市販ツールや機材にも組み込まれるであろう、期待の新機能となる事が多い。
他分野の研究に比べ、SIGGRAPHにおける研究と実用のサイクルは短く、早いものでは論文発表から1年から1年半ほどで市販ツールに組み込まれる例も見られる。もちろん論文の中には、研究主体とは逆の流れで、映画製作などで用いられた新しい手法を論文として発表するものも少なくない。
SIGGRAPHで注目の論文を発表していた研究者が、翌年には企業との共同研究、さらにその次の年には、ツール販売している企業に就職していて新機能を担当していた、という場合も多くある。コンピュータグラフィックス分野にも基礎研究のようなものも存在するが、最近では研究課題も実用に即したものが多く見受けられる。
また、研究段階で求められる実装と、現場レベルで求められるロバストネス（耐性）、クオリティ、処理スピードなどは大きく違う。現場からのニーズを研究者サイドに伝えていくのも重要な事柄だ。
今年の論文の傾向は、例年以上に様々な分野にわたったものが多く、一昨年から論文のカテゴリに新規追加が行われ、CGのみならず素材表現などのファブリック系や、3Dプリンタに役立つ技術などの論文が特に目立つようになったことも面白い。論文発表の今年の特長としては以下のようなもの。
- 様々な素材や、3Dプリンタ向けのツールやアルゴリズムが深堀りされた。3Dプリンタ技術そのものではなく、それらを支える3DCGの技術や仕組み作りが主流
- 安価に大量のコンピュータパワーが得られるようになり、データや素材を主軸にした手法が台頭
- 安易に演出可能な偽物的CG表現ではなく、物理現象を突き詰めたリアルな表現が人気
- Xbox Kinectの登場で、奥行き情報を活用した応用研究の幅が広がった
- カメラ系や表示装置系などハードウェアものは、まだまだ膨大なニーズに応えきれておらず開拓しうる分野
- 画像処理系や動画系は、現場のニーズを実現しようとする研究成果が多い。実用本意
SIGGRAPH 2013 論文集のビデオプレビュー（ダイジェスト）。全体の雰囲気がわかるだろう。
また全ての論文の1枚目が公式に無料公開されている（PDF）。ほとんどの論文1ページ目には、その研究の特長となる画像が使われており、アブストラクトと呼ばれる身近い概要が書かれているため、全体像を知るには役に立つ。
ここで紹介する研究のうちいくつかはまだ実用の域に達していないかもしれないが、映像業界の機材や数年前と比べてみると、技術革新によって、撮影や映像作りの可能性が大きく広がっている事柄も数多く存在する。今は未熟でも今後の実用化に期待したいところだ。
映像系、画像系の論文紹介
■User-Assisted Image Compositing for Photographic Lighting
複数条件のライティング済みの画像を合成して、撮影後に全体的なライティングを調整する仕組み。編集時に、撮影時のライティングとは異なる映像が必要になった時に役立つ。
■Optimizing Color Consistency in Photo Collections
大量の写真からキーとなる写真の色に全体の色合いを合わせる方法。例えば、日照や、撮影時間など異なる条件下で撮影した映像の色合いを合わせるのに役立つはずだ。
■Example-Based Video Color Grading
映画などの映像の中で利用されている色検出し、合成する映像の色合いを合わせて変更する方法。撮影時の条件等がわからなくとも、手元にある素材映像に合わせて、色合いを調整した映像合成が可能に。発表では、映画トランスフォーマーのあるシーンの色合いそっくりに調整した映像がデモとして上映された。
■Online Modeling For Realtime Facial Animation
XBox Kinectを活用して、顔の動きをアバターの動きにリアルタイムで差し替える技術。テレビ会議や、バーチャルアクター、アニメキャラクターなどで応用が可能。キャリブレーションなどの事前設定は不要。発表では、宇宙人が、地球人のふりをしてビデオ会議をしている様子を映し出し、会場の参加者には受けていた光景も。
■Structure-Aware Hair Capture
髪の毛を複数の方向からを撮影した映像を元に生成する、超リアルな髪の毛CG表現方法。将来的には、俳優のカツラや、ヘアメイクもCGでこなせるようになるかもしれない。
■Femto-Photography: Capturing and Visualizing the Propagation of Light
毎秒一兆枚の高速度カメラ、フェムトフォトグラフィーの研究。将来的には見通せない角の向こうや、X線を用いずに体内を観察できるようになると言われている。
■High-Quality Computational Imaging Through Simple Lenses
より高精細に撮影できるシンプルなレンズの提案。カメラのレンズそのものは極端にシンプルにし、撮影後の様々な画像処理による補正や修正によって高精細な撮影写真を得るアプローチ。
■Compressive Light Field Photography using Overcomplete Dictionaries and Optimized Projections
カメラのレンズの中に光学マスクを重ねることによって、複数の視点からの同時撮影を実現する手法。
■A Reconfigurable Camera Add-On for High-Dynamic-Range, Multi-Spectral, Polarization, and Light-Field Imaging
HDRやカラーフィルターの切り替えなどを自動的に実現するフィルタレンズの提案。
■Exposing Photo Manipulation with Inconsistent Shadows
写真の影を解析することで写真が合成写真かどうかを調べる技術。一般には浸透して欲しくないかもしれないが、報道写真関係などには役立つかもしれない。
■Perception of Perspective Distortions in Image-Based Rendering
イメージベースドで、複数カメラから撮影したかのような映像を生成。近い将来1台のカメラだけで撮影アングルが比較的自由自在になるかもしれない。
■Automated Video Looping with Progressive Dynamism
ビデオの中で動いている部分、色の変化する部分に着目し、ループ動画を適切に生成する方法。変化する部分をコントロールすることが可能で、ポスター表現に近いデジタルサイネージなどに応用が期待される。
■Bundled Camera Paths for Video Stabilization
ソフトウェアによるスタビライザー機能。映像が歪まないのが今までの手法より良いところ。ビデオの領域を分割し、それぞれの領域ごとに手ぶれ補正をかけて合成する手法。Microsoftリサーチアジアの研究。詳細はまだ公開されていない。
■Rectangling Panoramic Images via Warping
パノラマ写真を適切に補正し、四角いものは四角く映ったパノラマ写真を生成する方法。デジタルカメラのパノラマモードで撮影したような独特のひずみが消えて、超広角で撮影した様になる。
■Phase-based Video Motion Processing
止まっている画像から、動画撮影のようなわずかな動きのノイズを載せ、動きを誇張表現する方法。一枚の画像から動画撮影したような映像を生成したり、目の微細な動きを強調させることなどが可能。
■Depth Synthesis and Local Warps for Plausible Image-based Navigation
複数方向からの画像を活用して、欠けている部分を再構成して表示することが可能。バーチャルセットなどに応用が可能で、ある程度仔細に素材を用意しておけば、どのアングルからの映像も生成することができる。
■Wave-Based Sound Propagation in Large Open Scenes using an Equivalent Source Formulation
ヘリコプター音や鐘の音など、壁などに遮られることで、こもった音になるのを再現する手法。リアルタイムで適切な効果音を付加する時に使える方法。
txt：安藤幸央 構成：編集部
