バーチャルプロダクションの本幹。インカメラVFXを解説

インカメラVFXを解説

「Vol.01 バーチャルプロダクション最前線。大型LEDスタジオ+スクリーンプロセスに注目」では（2）LED＋スクリーンプロセスと（4）グリーンバック＋マッチムーブの説明に終始したが、やっと今回はこのバーチャルプロダクションの本幹ともいえるインカメラVFXを紹介しよう。

さて、大河ドラマ「どうする家康」等でも多用されたことで話題になっているインカメラVFX。実は前回使った表の（3）のグリーンバックでカメラトラッカーとリアルタイムレンダリングを使用した手法と全く同じ技術を使っている。

（1）のインカメラVFXという手法は、カメラの位置情報に合わせて仮想空間のカメラが同じように動き、その仮想カメラが写し出した映像がLEDウォールに表示されて、その前景にいる被写体と一緒に現実のカメラが収録するという仕組みである。

（2）はそのLEDの部分がグリーンバックに代わっただけで、カメラトラック、リアルタイムレンダリングなどは全く同じシステムで運用できる。

インカメラVFXを図解する

自分にとってはLEDウォールとグリーンバックをわける縦のラインより、リアルタイムレンダリングとプリレンダリング（オフラインレンダリング）をわける横のラインの方が大きな隔たりに感じる。

グリーンバックでもLEDウォールでも、カメラに付けられたトラッカーの情報を元に仮想空間の仮想カメラが同じ位置、同じ動きをすることで、仮想カメラの撮った映像をグリーンバックで合成したり、LEDウォールに投影されるという仕組みだ。

　 　　

スクリーンプロセスが事前に撮影された映像にカメラ位置や照明などを制限されてしまうことに比べて、インカメラVFXは自由にアングルも選べて、照明に関しても、スタジオでの人物の照明に合わせて仮想空間の照明を変えることも可能である。

ここが従来の合成撮影とは一線を画する部分で、現場のクリエイティビティが格段に上がると感じている。

インカメラVFXの技術の起点となるカメラトラッカー

さて、そろそろインカメラVFXのシステムについて書いていこう。まずは（1）と（2）共通のカメラに近い部分から。

前述したとおり、仮想空間のカメラと実際のカメラの情報、PTZと言われるパン、チルト、ズーム（レンズのmm数）、それに加えてロール（傾き）、ポジション（空間における位置）などの情報を伝えるトラッカーがカメラに固定されている。日本のスタジオは、赤外線マーカーを使用したトラッカーがほとんどだ。stYpeのRedSpyとMo-SysのStarTrackerが勢力を2分している。

海外の事例では赤外線マーカータイプは半分くらいで、逆にスタジオ各所に設置された赤外線カメラが、収録するカメラに付けられたマーカーを認識することでトラッキングするタイプが半数を占めていると聞く。代表的なものだとOptiTrackやViconなどがそれにあたる。

他に赤外線を発するベースステーションからの情報を得るViveMarsやステレオ魚眼カメラで位置情報を確認するVGIのLinkBoxのようなタイプ、同じような画像認識と赤外線マーカーのハイブリッドタイプのPixotope Camera Trackingなども存在する。

それぞれにメリット&デメリットがあり精度も差があり、金額的にも数十万円から一千万円近くまで様々なモデルが存在する。

全てはUnreal Engineから始まった

そのトラッカーからカメラデータが送られて仮想空間を構築しているのがEpic GamesのUnreal Engine（以下：UE）だ。このUEがバーチャルプロダクションの文化を作った、と言っても過言ではないくらいの一強ぶりである。今までもバーチャルスタジオのシステムはBrainstorm、TriCaster、Vizrtなど、あるにはあったが、いかにもCG的な描写性能でUEの実写のようなリアルタイムレンダリングは無理だった。それらも今ではUEと連携するようになってきている。

UE4.27というバージョンからバーチャルプロダクションの機能を装備し、UE5.1からバーチャル・プロダクション・レディと呼ばれインカメラVFXに完全対応になり、現在UE5.2というバージョンになり安定性も増してきている。高速なGPUを装備したワークステーションがあれば、UEの機能だけでもインカメラVFXのシステムは組めるのだが、エンジニア的な知識を持っていないとちょっと難儀な部分もある。

そこをカバーしてくれるのが、メディアサーバーやバーチャルプロダクションソリューションと呼ばれているアプリケーションだ。（1）のインカメラVFXならdisguise、（2）のグリーンバックならZero DensityのRealityというのが定番だった。それが、ここ最近になってインカメラVFXにおいてはSMODE、（1）と（2）を両方に対応するPixotopeやAximmetryといったアプリケーションも日本に入ってきた。

（2）のグリーンバック、リアルタイム合成の場合はここまでで完結する。カメラで収録されたグリーンバックの映像に先ほどのバーチャルプロダクションソリューションで生成されたCGの背景や前景が合成されモニターに映し出される。まあ、そう考えるとLED ICVFXに比べるとかなりシンプルだ。

（1）のインカメラVFXに関しては、これらで生成した画像についてLEDプロセッサー（コントローラ－）を介してLEDウォールに映し出す。BromptonのTesseraというタイプが大きなシェアを占めていて、それに次いでNovaStar、ソニーのCrystal LED用にはソニー製のZRCT-300というモデルが使われている。

これらはLEDとセットで周波数や色を管理している。周波数はフリッカーなどの問題とも絡んでくるので、かなり重要でプロセッサーもおろそかにはできない。

VFXの革命を起こしたLEDウォール

LEDインカメラVFXの要ともなる部分はもちろんLEDウォールである。機材の金額としても一番大きな支出であるし、最終的にここでコケてしまうと成立しないものになってしまう。

まず、大きさや形状に関しては大変重要な要素だがわかりやすいので置いておいて、ピッチ数、輝度（ダイナミックレンジ）、反射率といったところから言及していこう。

ピッチ数に関していえば、日本では1.5mm台が主流になりつつある。それに対し、海外の事例を見ると2.3mm～2.8mmと幅が広く、その分LED面やスタジオの広さを大きく作る傾向にあるようだ。1年半前に出したPRN Magazine Vol.15では、ピッチ幅を1000倍した数字がLEDから被写体までの一番近接した距離の目安だと思ってほしいと書いた覚えがあるが、1.5mmだとLEDから1.5m。2.8mmだとLEDから3m近く離れなければいけなくなってくる。

これはセンサーサイズやレンズのmm数、絞り値、カメラとの距離などによって様々に変わるが、そんなこと言っていたらキリがないので、自分の経験則からの大雑把な目安だと思って勘弁してほしい。

　 　　

ピッチ数が細かくなれば、その分解像度も上がってくる。解像度も上がれば送出するマシンパワーが必要になってくる。高精細にするということはスタジオ設営費用がより高額になってくるということも覚悟した方が良い。日本の現状は、細かいピッチ数にしてスタジオを小さく作るという選択肢を選んでいる。

そして次に輝度だが、背景になるメインLEDには明るさはそんなに必要とされていない。

しかし、ダイナミックレンジということで言うとHDRの色域を十分に表現できるものでないといけない。LEDの前に立つ被写体は、現実世界に存在するので十分なコントラストを持っている。そういったこともあって、背景の方が現実よりも明らかに色域が低かったりすると、カメラの動きと同期しているとはいえ背景の平面感は否めない。せめて収録カメラの諧調以上のダイナミックレンジは欲しい。

通常、私たちが目にしているディスプレイはSDR（スタンダードダイナミックレンジ）という基準で100nitの輝度幅しかない。それがHDR（ハイダイナミックレンジ）ともなると1000nitから10000nitの表現力を持つと聞く。そうなるとLEDも1000nitくらいの明るさは欲しくなる。それによって現実世界により近い諧調表現が可能だ。

それともう一つ重要なのが反射率である。シアターのように暗い空間で映像を見るのなら問題はないが、手前の被写体にも照明を当てなければいけないのがバーチャルプロダクションの宿命だ。LEDインカメラVFXの強みは天井や手前に置かれるLEDの環境光によって自然なベースライティングができ上がるということもあるが、LEDは面光源だけなので、太陽光のような光、影がシャープに出るような硬い明りを表現するには、当然、普通の撮影現場にあるような点光源の照明機器が必要になってくる。そういった照明の光やLED同士の影響光も侮れない。それらが背景のLEDパネルになるべく影響しないようにLEDは限りなく低反射のものが望ましい。

もちろん「ノングレア」と表記されたものは低反射なのだが、それが機種によってどれだけ違うのかは数値化されていないので、今の段階では実際に自分の目で確認するしか方法はない。バーチャルプロダクションに限らずLEDパネルにとっては重要な要素なので、それを数値化できる基準値みたいなものを望みたい。

そして、そのすべての要素をカメラが収録して、合成などなしでファイナルイメージへと導く。

どんなカメラが適しているのかと聞かれることも多いが、一言で言ってしまえば、Genlock機能が付いたラージセンサーカメラだ。Genlockに関してはリフレッシュレートの高いLEDなら問題ないという考え方もあるがGenlockがあるに越したことはない。LEDウォールを使った撮影は、ICVFXに限らずLED面にピントが合ってしまうとモアレが出やすいのだ。そういった理由から被写界深度の浅いラージセンサーカメラが向いている。せめてSuper35のセンサーサイズは欲しいところだ。

照明までもLEDでコントロールする従来の撮影スタイルにLEDウォールが組み込まれたパターン

さて、バーチャルプロダクションの撮影風景などを映像で見た人は知っていると思うが、大抵のLEDスタジオのパネルは湾曲した形で配置されている。これはカメラが中心にいる時に左右に振っても見切れを少なくできるという意味合いもあるが、LEDの光は直進性が強いので、なるべく面が被写体に向いている方が良い。これは撮影画像に入っていなくともその光が自然な環境光だったり、反射物の映り込みとして機能してくれるからである。そういうこともあり全体を囲うように天井までLEDに覆われているのである。

それとは別に平面に配置する場合もある。角川大映スタジオのSTAGE CやNHK「どうする家康」のインカメラVFX撮影もスタジオにフラットにLEDウォールを組んである。こちらの方は左右も天井も従来のグリーンバック撮影と同じように照明で表現して、LEDを環境光としては使用しないパターンだ。

インカメラVFXは「動く書割（かきわり）」と表現されることが多い。囲われたLEDスタジオが仮想空間の中に被写体がいるイメージだとすれば、こういった使い方は大きな窓の外は仮想空間といった表現がしっくりくる。革新的なインカメラVFXの手法から、従来の撮影方法に歩み寄った形だ。

前回はスクリーンプロセスの方が撮影現場にとっては馴染みがあって使用頻度が高い、という話を紹介したが、それよりも一歩進んだ形で環境光は従来通りの照明方法で作り、背景に関してはインカメラVFXの手法を取り入れるという、スクリーンプロセスより、もう一歩進んだ形のLEDウォールの使い方である。

それでも大きな窓の外が仮想空間という考え方か、LEDに囲われた仮想空間の中に実在の被写体やセットの一部が存在するという考え方か、ここには大きな違いが存在する。

どんな形であれ、このインカメラVFXという手法が徐々に実際の撮影現場に浸透してくことを望んでやまない。このICVFXという手法は、今までの映像制作のセオリーを捨てて、一度、考え方をまっさらな状態にすることで新しい地平が見えてくるのではないだろうか。