20220331_nvdia_top2

NVIDIAは、NVIDIA ResearchチームはAIを使用して現実世界での光の動き方を推定するインバースレンダリングを利用して、さまざまなアングルで撮影された数枚の2D画像から3Dシーンをほぼ瞬時に再構築する手法を開発したと発表した。

超高速ニューラルネットワークトレーニングと高速レンダリングを組み合わせたこの手法（Instant NeRF）は、これまでで最速のNeRF手法だといい、場合によっては1,000倍以上のスピードアップを達成できるという。

NVIDIAが発表したブログによると、インバースレンダリングという、複数の静止画像を数秒でデジタル3Dシーンに変換するプロセスは、AIを使用して現実世界での光の動き方を推定するものだという。研究者はこのプロセスを利用してさまざまなアングルで撮影された数枚の2D画像から3Dシーンを再構築する。NVIDIA Researchチームは、このタスクをほぼ瞬時に遂行する手法を開発したという。

NVIDIAは、この手法をNeural Radiance Fields（NeRF）と呼ばれる新しいテクノロジに適用し、Instant NeRFと命名。Instant NeRFはこれまでで最速のNeRF手法で、場合によっては1,000倍以上のスピードアップを達成することができるとしている。

同モデルでは、数十枚の写真と、それらが撮影されたカメラアングルのデータでトレーニングするのにわずか数秒しかかからず、3Dシーンを数十ミリ秒以内にレンダリングできるという。

NVIDIAのグラフィックスリサーチ担当バイスプレジデントのデイビット・ルーブキー氏は次のようにコメントしている。

ルーブキー氏：ポリゴンメッシュのような従来の3D表示がベクター画像に例えられるのだとすれば、NeRFはビットマップ画像に例えられます。NeRFでは、オブジェクトからの光やシーン内で光が放射される方法を高密度にキャプチャします。その点で、3DにおけるInstant NeRFの重要性は、2D写真におけるデジタルカメラやJPEG圧縮の重要性と同等と言えるでしょう。NeRFにより、3Dキャプチャとそれを共有するうえでのスピード、使いやすさ、カバー範囲が大幅に向上します。

Instant NeRFを使用することで、仮想世界のアバターやシーンの作成、ビデオ会議の参加者およびその環境の3Dでのキャプチャ、および3Dデジタルマップ向けのシーンの再構築が可能になるとしている。