GoProやソニーのアクションカムを身に着けてスピードあるアクション撮りをすると、当然カメラの振動によるブレは避けられない。山登りや散歩などでカメラをお供させて長撮りしたものを、例えば10倍速で短く仕上げようとすると、流石に見るに堪えない映像となってしまう。

米マイクロソフトのインタラクティブ・ビジュアル・メディア部門による研究プロジェクトでは、従来の画像スタビライゼーション技術ではカメラの一定の動きを補正することが難しい点に着目し、コンピューター視野で技術開発が進められている。このプロジェクトは技術論文としてSIGGRAPH 2014にて発表された。

研究員ジョナサン・コフ氏によるプロジェクトは、マイクロソフト公式のブログにて公開されている。投稿ではVFXのような内容にまで発展しており、コンピューターサイエンス分野として画像処理と統計的信号処理の分野に焦点を当てている。映像は3D上で構築し、画像のモデリングとレンダリングを通して、画像を縫い合わせる高精度なアルゴリズムを施している。最初にアルゴリズムを使って3D入力カメラパス、フレームごとのプロキシ・ジオメトリ、密度を再構築する。次に出力カメラパスを滑らかなカメラの動きとなるように、仮想カメラと馴染ませて最適化させる。

処理はPCワークステーション1台で行っており、ハイスペックなシステム環境ではない。このカメラの振動をバーチャルで取り除く技術は“ハイパー・ラプス”と名付けられてYouTubeに公開されている。

技術説明ビデオ

取り上げられた映像はハイキング中にGoPro（ヘルメットに装着）で収録した、緩やかな坂などを上っていく長尺のもの。YouTubeで見られるハイパー・ラプスはまだ完全なものではないが、既存のスタビライズ技術よりもはるかに優れた結果が出せるとして評価されている。

（山下香欧）