txt：安藤幸央 構成：編集部
デジタル技術、ソフトとハードの次は、バイオ？
毎年、示唆に富んだ基調講演が用意されているSIGGRAPH。今年は、マサチューセッツ工科大学（MIT）Media Lab所長の伊藤譲一氏による講演であった。SIGGRAPHの基調講演は、コンピューターグラフィックス業界関連の人物ではなく、少し違った業界の人のお話しから、SIGGRAPH参加者がインスパイアを受けるといった趣旨で選定されており、過去にはコンセプトアートのシドミード氏、SF作家のブルース・スターリング氏、ゲーム作家のウィル・ライト氏などが講演している。
マサチューセッツ工科大学Media Lab所長の伊藤譲一氏の60分にわたる講演
今年の伊藤氏の基調講演は、日本で初の商業用インターネットプロバイダーの話しに始まり、インターネットの浸透により世の中が変わってきたこと、情報のコストが変わってきたこと、そして、前Media Lab所長のニコラス・ネグロポンテの言葉「Bio is the new digital」を借り、最新のバイオ技術、デジタル技術とバイオ技術の融合により、新しいアートや、新しい技術応用の世界が広がっていることを皆に解りやすく伝えた講演だった。
SIGGRAPHの本分・論文発表から最新の映像技術を紹介
派手な催しものが目立つSIGGRAPHであるが、その本分は学会、論文発表であり、今年も数多くの最新の研究が発表された。最近のSIGGRAPH論文発表は、広いジャンル、分野に研究が広がり、純粋なコンピューターグラフィックス技術の研究の他にも、映像系、画像加工系、3Dプリンターの応用技術などにも研究分野が広がっている。
また、SIGGRAPHの論文発表の研究内容は遠い未来の技術ではなく、次の年や、2・3年後に一般に使えるツールの機能として組み込まれるほど、実用化のスピードが早い。Microsoftのツールや、Adobeのツールの1機能として使える日も近いのだ。
それでは、今年採択された154本の論文の中から、映像系の研究から興味深いものをいくつかピックアップして紹介しよう。
論文紹介
■Real-Time Hyperlapse Creation via Optimal Frame Selection
スマートフォンのカメラでリアルタイムハイパーラプス映像を作成
特殊な機材無しで連続撮影したスマートフォンのカメラ写真から、撮影位置や間隔などを自動検知し、ステディカムで撮影しているかのような滑らかなハイパーラプス動画を自動生成する技術。写真がブレブレになるほど動き回る猫に搭載したカメラで作ったハイパーラプス映像が逸品。
Windows Phone、Android、Windows、Microsoft Azureクラウド用のアプリが公開されている。
http://research.microsoft.com/en-us/um/redmond/projects/hyperlapseapps/
■Time-lapse Mining from Internet Photos
多くの人が撮影したネット上の写真から、長期間にまたがるタムラプス画像を自動的に生成する技術
ネット上にある同じ建築物や、風景を撮影した写真をかき集め、撮影日時に合わせて時系列にならべ、撮影アングルも自動補正し、数ヶ月、数年単位でのタイムラプス映像を生成できる。巨大な建造物が少しずつ出来上がっていく様子や、滝が少しずつ変化していく様子などを映像で見ることができる。
■Sampling Based Scene-Space Video Processing
映像のサンプリングを行い、空間の映像を再構成する技術
音のサンプリングのように映像内のショットをサンプリングし、その映像空間内に固定して保持することのできる技術。
■Gaze-driven Video Re-editing
映像から注目すべき箇所を抽出した上での映像再構築
4K映像やハイビジョン映像などを小さな画面に切り取って編集し直さなければいけない時などに有効な技術。スマートフォンのディスプレイ解像度は既に高精細だが、縦画面で見ることが多かったり、そもそも面積が小さいため、できるだけ拡大して大きく見たい時などに映像を扱い易くする技術でもある。
http://www.cise.ufl.edu/~ejain/VideoRe-editing.html
■AudeoSynth: Music-Driven Video Montage
音楽をベースに、映像を切り貼りする方法
ミュージックビデオやプロモーション映像など、音楽のリズムをきっかけにカットが切り替わる映像を作り易くする手法。まだまだ凄腕の編集者や、映像監督にはかなわないが、結婚式の映像を素早く作り上げるといった用途には、十分すぎるほどの機能を持っている。
http://web.engr.illinois.edu/~liao17/montage.html
■Dehazing using Color-Lines
ぼんやりとした画像のコントラストを適切に強くする方法
同様の技術はすでに一般的なツールに組み込まれているが、本研究では曇り空で撮影した景色など、全体がすでにボンヤリとくすんだ色になっている写真から、その風景が晴れの日光のもとで、本来あるべき色合いでくっきりはっきりとした色合いに修正することのできる技術。
http://www.cs.huji.ac.il/~raananf/projects/dehaze_cl/
■Learning to Remove Soft Shadows
ソフトシャドウを自動的に削除する手法
撮影時に注意していても映り込んでしまった影を後から除去できる技術。影の場所の指定は人間が指定しなければいけないが、気持ちよい程影を消すことができる。一方、影の濃さ、薄さの調整や、影の形を歪ませたり大きくしたり自由自在に変化させることもできるのだ。
■A Computational Approach for Obstruction-Free Photography
ガラス窓の前で撮影した時にガラスが映り込んでしまうのを削除する方法
撮影場所や撮影状況によっては、どうしてもガラス越しに撮影しなければいけない場合もあり、そういった時にはピントを合わせたい遠くの背景ではなく、手前のガラスにピントがあってしまう場合もある。そういったガラスが映り込んだような映像や、目的のものからピントが外れたような映像を適切に補正し、ガラスの存在やピントのずれを意識しないほどに修正できる技術。ガラスのみならず、ワイヤーのフェンスなどにも有効な技術だ。解説映像から元の映像からワイヤーが除去され、ピントが合っている様子に注目だ。
■Palette-based Photo Recoloring
パレットベースの写真の色修正技術
単に一カ所の一色を塗り替えるのではなく色の修正箇所に付随した関係ある領域を全て同時に適切な色で修正する技術。
■Data-driven Color Manifolds
大量のデータ解析から抽出した色塗り技術
例えば空の色であれば、フルカラー全色のパレットがあっても利用する色は一部で、青系統の色、夕焼け朝焼けの色などがあれば十分実用的になる。人の肌の色あいであれば、SF映画に出てくる宇宙人で無いかぎり、ある程度色の範囲は決まる。そういった状況に応じたカラーパレットを用意して写真を彩色、色修正を行う仕組み。
http://resources.mpi-inf.mpg.de/ColorManifolds/
■Improving Light Field Camera Sample Design With Irregularity and Aberration
ライトフィールドカメラをシンプルな構造で実現
撮影してからピントを修正できるLytroカメラと同等の機能を安価に実現する手法。
http://www.liyiwei.org/papers/sample-sig15/
その他には、Adobeが関係している研究論文から、家の家具のテイストを統一するなど、雰囲気を合わせたオブジェクトを選択する技術、3Dスキャンした形状データが欠けていたとしても適切に補完する技術、アイコン画像を引き延ばしたり拡大縮小しても違和感なく適切に伸び縮みする技術、限られた画像素材から画像の欠けた部分を自然に補完する技術、Microsoft Researchからは、上記で紹介したReal-Time Hyperlapseなど、各種ツールメーカーと大学との協同研究も多く、すでに試せるツールとして公開されていたり、もう少ししたら既存ツールの機能として搭載されることが期待されものなど、最新の研究と現場のニーズが近いところにあることが感じられる数々の研究発表であった。
さらに今年のSIGGRAPHでは、スタジオと呼ばれるモノ作り体験スペースが充実しており、Oculus、Google Cardboardを始めとするVRデバイス展示コーナー、世界的に有名なプロジェクションマッピング作家のパフォーマンスなど、盛りだくさんの話題は続くレポートで紹介する。
txt：安藤幸央 構成：編集部
