CGの祭典SIGGRAPH 2026開催！動画生成AIは「新しいカメラ」でもある

Promptable AI Camera：Real-Time Live!（リアルタイムCGデモの発表）より追加分

発表：AP University of Applied Sciences and Arts Antwerp

Promptable AI Camera、通称PAICは、ライブカメラ映像を、生成AIに指示するのと同様にテキストプロンプトで映像を変更するソフトウェアシステム。

利用者は映像の一部を選択し、背景、アバター、エフェクトなどを言葉で指定することができる。複雑な3Dソフトウェア、高価なモーションキャプチャー、グリーンバックを用意しなくても、カメラ映像の入力だけでその場で変化させられるのだ。

この技術によって、プロンプトは画像や映像を一度生成するための命令ではなく、ライブ映像を継続的に演出する操作インターフェースになった。用途によっては、現場でカメラ撮影しながら背景を差し替え、人物の外見を変換し、エフェクトを追加することで、撮影とポストプロダクションを、その場で同じ時間軸上で進めることができる。

配信、オンラインイベント、教育、広告、バーチャルプロダクションへの応用が考えられる一方で、ライブ映像がその場で生成、改変されることは、視聴者が見ている映像のライブ感が失われるのではないかという課題も生まれる。これは映像制作の可能性を広げる技術であると同時に「ライブ映像とは何か」を考え直すきっかけにもなるデモであった。

開発元AP Hogeschool/Immersive Lab

PAICの公式プロジェクトページがあり、Webcam、OBS、Avatar、Background、Visual Effectなど、具体的な利用方法が説明されている。

企業発表：ソニー「OpenTrackIO」対応。映像トラッキングの共通化に対応したカメラの展示

ソニーからは、撮影現場のカメラトラッキング情報を共通の形式で扱うための取り組み、OpenTrackIO対応カメラが紹介された（OpenTrackIOは、SMPTE RIS-OSVPによって策定された、バーチャルプロダクション向けのオープンなトラッキング規格）。

バーチャルプロダクションやリアルタイム合成では、カメラの位置や姿勢、レンズの状態といった情報を、撮影機材、トラッキング装置、レンダリングエンジンの間で正確かつ低レイテンシーに受け渡す必要がある。

現状は、メーカーや機材ごとにデータ形式や接続方法が異なり、システムを組み合わせるたびに個別の調整が必要になる場合が多い。OpenTrackIOは、こうしたトラッキング情報を共通化し、異なる製品やソフトウェアを接続しやすくすることを目指したものだ。この種の標準化は、カメラの新製品発表や、単体のカメラやセンサーの性能向上ほど派手には見えない。

しかし制作現場では、機材同士が確実につながり、撮影時の情報が後工程まで失われずに受け渡されることが、映像品質と作業速度を大きく左右する。AIやリアルタイム CGを本格的に活用するほど、映像そのものだけでなく、撮影時に得られるメタデータの精度と相互運用性が重要になるのだ。リアルタイム映像制作の競争力は、一台の高性能な機材だけでは生まれない。

カメラ、レンズ、センサー、照明、トラッキング、記録、合成、編集など全ての工程が一つの制作環境として働くことが必要だ。OpenTrackIOは、その制作環境をつなぐ共通言語を整えようとする必須の取り組みといえる。

論文：MV-S2V: Multi-View Subject-Consistent Video Generation

（タイトル抄訳：MV-S2V: カメラが回り込んでも、被写体が崩れない動画を生成する）

人物や商品などの一枚の写真から動画を生成するSubject-to-Videoは、急速に高品質化している。ただし、一枚の写真には写っていない場所がある。正面写真しか与えていない人物の背後へカメラが回れば、背中の服装や髪型はAIが想像するしかない。このためカメラが大きく移動すると、被写体の形や模様が途中で変わってしまう問題がある。

本研究MV-S2Vでは、一枚ではなく複数方向から撮影した参照画像を利用する。正面、側面、背面などの情報をあらかじめモデルへ与えることで、カメラが被写体の周囲を移動しても、同じ3D物体として一貫性を保った動画生成を目指す。

さらにTemporally Shifted RoPEという仕組みを使い、「別の被写体」と「同じ被写体を別角度から撮った画像」をモデルが区別できるようにしている。研究では合成データに加え、実際に複数方向から撮影したデータも利用している。

映像制作で重要なのは「きれいな動画」だけではない。商品ならロゴや形が途中で変わってはいけないし、キャラクターなら後ろを向いた瞬間に衣装が変化してはいけない。生成AIが実制作へ近づくほど、画質以上に被写体を同じものとして維持する能力が重要になっていく。

論文：ReRoPE: Repurposing RoPE for Relative Camera Control

（タイトル抄訳：ReRoPE: 生成AIのカメラワークを、演出家の指示どおりに精密制御する）

生成AIに「人物の周囲をカメラが180°（180度）回り込む」「ゆっくりドリーインする」と指示しても、必ずしも意図どおりには動かない。自然言語は映像の雰囲気を指示するには便利であるが、カメラの位置や姿勢を精密に指定する方法としては曖昧だからである。ReRoPEは、動画生成モデルのTransformerで使われるRotary Positional Embedding、通称RoPEに着目した研究である。

RoPEには時間的な位置を表すための帯域があるが、その中でも低周波側は動画生成で十分使われていないことを分析し、そこへカメラ間の相対位置・姿勢情報を埋め込んで活用するのだ。大掛かりに既存のモデル構造を変更するのではなく、既存モデルが持つ表現の「空いている場所」をカメラ制御に利用する発想である。Image-to-VideoとVideo-to-Videoの双方へ適用できる。

動画生成AIが映画やゲーム制作へ入っていくと、「映画っぽい映像を作ってください」だけでは足りない。カメラマンや演出家が決めたカメラパスを、AIが正確に守れることが必要である。生成AIを自動映像生成機からカメラオペレーターとして使える道具へ変えるための研究と考えると分かりやすいだろう。

論文：ActCam: Zero-Shot Joint Camera and 3D Motion Control for Video Generation

（タイトル抄訳：ActCam: 俳優の動きとカメラワークを別々に演出する）

映画撮影では、「俳優がどう動くか」と「カメラがどう動くか」は別々の演出要素である。ActCamは、この二つを動画生成AIでも分離して扱うという発想に基づく研究だ。

参照動画から人物やキャラクターのモーションを取り出しながら、生成する動画では別のカメラ軌道を指定できる。さらにカメラの外部パラメータだけでなく、焦点距離などの内部パラメータもフレームごとに制御できる。生成の前半ではポーズと奥行き情報を利用して3D的な構造を安定させ、後半では奥行き情報の制約を外してポーズ中心で細かな表現を生成する二段階の方法を採用している。

追加学習を必要としないZero-Shot方式であることも特徴である。同じ俳優の同じ演技を、正面から撮る、横から並走する、背後から追いかける、といった複数のショットへ展開できると考えると、その意味が見えてくる。これは単なる動画生成というより、生成された仮想空間の中で撮影を行うバーチャル映画撮影に近い技術である。

論文：FreeOrbit4D: Training-free Arbitrary Camera Redirection for Monocular Videos via Foreground-Complete 4D Reconstruction

（タイトル抄訳：FreeOrbit4D：撮影した後、一本の動画を4D空間へ変換し、後から自由なカメラで撮り直す）

FreeOrbit4Dは、すでに撮影された一本の動画から、撮影時には存在しなかったカメラ位置の映像を作る研究である。一台のカメラで撮った映像には、当然ながら人物の背後や物体に隠れた部分は記録されていない。FreeOrbit4Dでは、まず背景と動く前景を分離する。そしてMulti-View Diffusion Modelを使って前景の見えない部分を補い、3Dの点群として再構成する。さらに時間方向の動きを加えることで、形状と動きを持った4Dデータを作る。

その4D空間へ新しいカメラを置き、そこから見える形状をガイドとして動画生成モデルに渡す。結果として、元動画とは大きく異なる角度から見た映像も生成できる。

プロジェクトページでは4D点群をインタラクティブに回転させることもできる。従来なら別角度のショットが必要なら、撮影現場でカメラを増やすか、撮り直す必要があった。こうした技術が発展すると、撮影映像は完成したショットではなく、あとからカメラを置き直せるシーンデータとして扱われるようになるかもしれない。

論文：Pixel Cube: Diffusion-based Portrait Video Relighting Through Realistic Lighting Reproduction

（タイトル抄訳：Pixel Cube: 人物の照明を「撮影後」に自然に変更する）

映像制作では、どこからどのような光を当てるのかが、人物の印象を大きく左右する。Pixel Cubeは、そのライティングを撮影後に変更する研究である。

特徴的なのは、AIモデルだけで完結していないことである。研究チームは人物の周囲をLEDパネルで囲む「Pixel Cube」という撮影装置を構築し、ハイダイナミックレンジ環境マップを物理的な照明として再現しながら高速撮影する。

さまざまな人物、表情、動き、照明条件を実際に撮影した映像とCGレンダリングのデータを組み合わせ、Video Diffusion Modelを学習させている。生成時には新しいハイダイナミックレンジ環境マップを指定すると、人物の表情、肌の色、皺、髭などの特徴を保ちながら、時間的に安定した新しいライティングを適用できる。背景画像を使って露出やカラートーンも制御できる。

これまでの映像制作では、ライティングは撮影時にほぼ決定する要素だった。Pixel Cubeのような研究が進めば、カラーグレーディングのように照明デザインの作業そのものがポストプロダクションへ移る可能性がある。

論文：Relit-LiVE: Relight Video by Jointly Learning Environment Video

（タイトル抄訳：Relit-LiVE: 動画だけでなく「周囲の光」も同時に生成する）

Relit-LiVEも再照明を扱う研究であるが、Pixel Cubeとはアプローチが異なる。従来の再照明手法では、映像をサーフェスノーマル、マテリアル、ライティングといった要素へ分解してから、別の照明条件でレンダリングし直す方法がある。しかし実写映像からこれらを完全に分離するのは難しく、推定を少し間違えるだけで素材感が変化したり、フレームごとにちらついたりする。

Relit-LiVEでは、分解された情報だけでなく、元のRGB画像そのものをレンダリングプロセスへ戻すことで、分解の過程で失われたり不正確になったりしたシーン情報を補う。

さらに、再照明された動画と各フレームの環境マップを同じ手順で同時生成する。これによってカメラが動く映像や時間的に変化するライティングでも、物体と光の関係を保ちやすくする。カメラポーズをあらかじめ取得しておく必要がないことも特徴である。応用例として再照明以外にも素材編集、物体の操作、動画ストリーミングへの適用が示されている。

AIで映像を描くだけでなく、光がどこから来ているのかまで理解するAIへ変わり始めている例である。

論文：SCOPE: Scale-Consistent One-Pass Estimation of 3D Geometry

（タイトル抄訳：SCOPE: 長い動画を「崩れない3D空間」に変換する）

動画から3Dジオメトリを推定する技術は急速に進歩している。しかし数秒ではなく、数百フレームにわたる長い動画になると、場所によってシーンの大きさが変化したり、最初と最後で同じ場所の座標が合わなくなったりするズレが問題になる。

SCOPEは、長い動画から、時間方向に一貫した3D構造を一回の処理で推定する研究である。視点が変わっても同じ3D空間として扱える表現、長い時間間隔でも外観に左右されずジオメトリを一致させる学習、そして長いシーケンスまで位置情報を扱えるよう従来手法を拡張する仕組みなどを組み合わせている。

プロジェクトページでは、既存手法と比較して座標誤差を24.2％、時間方向の誤差を34.9％低減した結果が示されている。映像をフレームの連続ではなく、カメラが移動した3D空間の記録として扱えるようになれば、バーチャルプロダクション、ロケーションスキャン、デジタルツイン、ARなど幅広い分野につながる。

論文：LongE2V: Long-Horizon Event-based Video Reconstruction, Prediction, and Frame Interpolation with Video Diffusion Models

（タイトル抄訳：LongE2V:「変化だけを撮るカメラ」から普通の動画を作る）

一般的なカメラは1秒間に30枚、60枚といった一定間隔で画像を記録する。イベントカメラはまったく違う。各ピクセルの明るさが変化した瞬間だけをイベントとして記録するため、非常に高速な動きに強く、レイテンシーが小さく、広いダイナミックレンジを持っている。一方、出力されるのは通常のビデオフレームではないのが難点だ。

LongE2Vは、そのイベントストリームから通常の映像を再構築する。しかも、未来フレームの予測と、中間フレームの補間まで扱うことができる。

長時間処理すると生成モデルでは徐々に内容がずれてくることが問題になるが、本研究の工夫により、長いシーケンスでの安定性を高めている。興味深いのは、カメラが完成映像全てを記録しなくてもよくなる点である。センサーは変化という必要最低限の情報だけを取得し、人間が見る映像表現はAIが後から再構成する。カメラの基本設計そのものを変える可能性を持った研究でもある。

論文：Policy-based Foveated Imaging and Perception

（タイトル抄訳：Policy-based Foveated Imaging――AIが「次にどこを撮るか」を決めるカメラ）

カメラ業界的にカメラセンサーの高解像度化は続いているが、200メガピクセル（2億画素）のセンサーから毎フレームすべてのピクセルを最高解像度で読み出せば、帯域幅、消費電力、レイテンシーが大きな課題になる。

本研究は、人間の視覚における中心視のように、全体については低解像度映像を取得し、本当に必要な部分だけをフル解像度で撮影する仕組みである。

そして最大の特徴は、どこを高精細で撮影するかをAIが判断することである。過去のフレームを観察し、次にタスク上重要になる領域を予測し、センサーへ「この場所を高解像度で取得する」というアクションを返す。

つまりカメラで撮った映像を後からAIが解析するのではない。AIがカメラの撮影行為そのものを制御するのだ。

研究では200MP（2億画素）のセンサーを使った実写動画でも検証されており、限られたピクセル帯域幅の中で必要な情報を選択的に取得できることを示している。将来のカメラは「目の前にあるものを全部記録する装置」ではなく、目的を理解し、必要なところを見るインテリジェントなセンサーへ変わっていくのかもしれない。

論文：Lucky High Dynamic Range Smartphone Imaging

（タイトル抄訳：手持ちスマートフォンで、実際に撮影したPixelだけを使ってハイダイナミックレンジ画像を作る）

HDR（ハイダイナミックレンジ）撮影では、暗い部分用、通常露出、明るい部分用など露出の異なる複数の写真を撮り、それらを一枚へ合成する方法がある。

問題は、手持ちカメラでは撮影するたびに位置が微妙にずれ、人物や木の葉など被写体も動くことである。このLuckyHDRでは、AIを使って複数露出間のピクセルの対応位置を推定し、さらにどのピクセルを最終画像へ利用するべきかをウェイトとして予測する。重要なのは、AIが最終画像のピクセルそのものを生成しないことである。

最終的なピクセルは必ず、実際に撮影された近傍ピクセルとの混合になる。そのため生成AIのように「撮影されていない内容を描いてしまう」ハルシネーションが原理的に起こりにくい構造である。AIモデルも66K（6万6000）パラメータと非常に小さく、モバイルデバイスでの利用を意識している。3～9枚のブラケット撮影にも対応し、合成データだけで学習しながら、実際のスマートフォンで撮影した画像にも汎化できることを示している。

AIを使った撮影というと「写っていないものまでAIで補う」方向に注目が集まりがちである。しかしこの研究ではAIは何も描かない。撮影された情報の中から、どのピクセルを信用するべきか判断するだけだ。報道、記録映像、商品撮影など、実際にカメラが取得したリアルな情報であることが重要な用途では、こうした設計思想も非常に重要になるだろう。

映像生成AIは「カメラをなくす」のではなく「カメラを拡張する」

CGの学会であるSIGGRAPHに、これだけ多くのカメラ系・映像系論文が採択されていること自体が興味深い。現状ではまだ「研究」の段階ではあるが、早い時期に実際のカメラ機器にAI機能が搭載されたり、「撮影」という工程そのものがAIの恩恵によって変化していくことも考えられる。

今回紹介した論文から読み取れる特徴は次のとおりである。

数年前まで、生成AIとカメラ技術はまったく別の研究分野に見えた。ところが今回のSIGGRAPH 2026では、その二つが急速に近づいていることが感じられた。

つい最近まで「AIで動画を生成できる」こと自体が驚きだった段階から、AIを使って何を撮り、カメラをどこへ置き、光をどう当て、最終映像をどのように完成させるのかという実務の段階へ入り込んできている。映像制作におけるAIの本当の変化は、これから始まるのかもしれない。