ブリッジリンクがバーチャルプロダクションシステムを計画。ビジュアル・グラフィックス等と協力して環境構築と実動作検証の様子を公開

1.5mmピッチと2.5mmピッチは一長一短

まずは大きく目につくLEDの検証結果から。ピッチが1.5mmと2.5mmでは、遠目に見るとあまり差は感じられないが、1.5mmに関してはスクリーン面にフォーカスを合わせても特定の画角以外はモアレが出ない高精細を誇っていた。

LEDに関してはピッチが細かいことに越したことはないが、画素が多くなるとその分送出する映像の解像度も必要になってくる。1.2mmは大画面スクリーンを設営するにはコストがかかりすぎて、被写体とスクリーンが近接するなら有効かもしれないが、そのケース以外はオーバースペックのように感じた。

　 　　

　 　　

カメラはラージセンサー+GenLockが理想

カメラに関して言うと1インチセンサーのX70は明らかにモアレが出やすく、やはりスモールセンサーとLEDディスプレイの相性が悪いことが再確認され予選落ち。それを考えるとラージセンサーのFX3の方が良いように感じるが、FS7でもモアレが気になることは少なかった。今回はf4.0の絞りで通していたので、もっと明るいレンズを使うことでより良い結果が得られそうだ。

ただ、FX3やFX6のようなGenLockの付いていないカメラはフリッカーの問題が付きまとう。今回はプロセッサーの周波数とカメラのシャッタースピードを調整することでフリッカーが出ないところを探れたが、よりタイミングにシビアになる場合がある。また、外部からビデオ映像を入力し、UEの3D空間に貼りつけていた映像を使う場合などは、GenLockが必須となる。やはりGenLockを装備したカメラを使うのが理想だろう。

RealSenseを使ったカメラトラッキングは価格と使い勝手は優秀だが課題あり

カメラトラッキングに関してはstYpeのRedSpyやMo-SysのStarTrackerを使うのが定番だが、システムコストやマーカー設置工数もかかることから、ここではVIVE TrackerとRealSense T265が使用されていた。

VIVEはベーステーションを4つの構成でスクリーン幅と同じ4m四方に配置された。当初は絶えず微振動があるような感じがあったのだが、UE上のブループリントの設定にミスがあることがわかり、その後は安定した動作を実現していた。HTCの推奨では4台のベースステーションなら10m四方まではカバーできるとの事だ。

　 　　

　 　　

そして、もう一つのRealSense T265。2つの魚眼カメラとジャイロ・加速度センサーを内蔵し、その情報から位置や向きを判断してPCに伝送するハードウェアで、マーカーもいらなければベースステーションとの連携もなく、たった55gの10cmほどのバーだけでトラッキングを可能にしてしまう優れものである。

　 　　

ビジュアル・グラフィックスではJetson（NVIDIAの組み込みシングルボードコンピュータ）を使用して汎用性のあるデータに出力することでUE4と連携をとっていた。やはりカメラ映像から位置を判断するだけあってトラッキング精度はかなりのものだが、T265を向けている方向に動いている人や映像などがあると誤動作しやすいし、一面の青空やホリゾント、グリーンバックなどに向けている時も追尾する情報が少ないのでトラッキングの精度は下がる。しかし、価格と使い勝手の良さは群を抜いており、決定的な欠点もまだ見つけ出せていないので、これからもっと追及していきたいアイテムだった。

そして、ビジュアル・グラフィックスでは独自に簡易的なロータリーエンコーダーをレンズに付けることでズーム情報を得て、スクリーンに反映させていた。アイリスは手入力で対応できるとしてもズームとフォーカスに関してはロータリーエンコーダーを付けるかレンズに付けられたサーボから情報を取り出すことになる。それが出来てやっとRedSpyやStarTrackerと同じ土俵で評価されることになるだろう。

　 　　

フォトグラメトリとインカメラVFXの組み合わせを検証

もうひとつ楽しみだったのはジュエ制作によるフォトグラメトリのアセットである。花やしき外観と浅草浅草寺の市川團十郎像周辺の二つを見せてもらった。200枚以上のスチル画像から作られた3Dイメージは花やしきに貼られているポスターの入場料金まで判別出来る精巧さだ。リアルな3Dモデルを作るのは大変時間のかかる作業で、それを数百枚とはいえ短時間の収録時間で素材を撮り、その写真をPCの処理に任せてモデルが出来上がるのはフォトリアルなモデルを必要とするインカメラVFXにとっては要注目な技術だ。

ただ、そんなフォトグラメトリも課題がいくつかあり、撮影時の明かりをそのまま活かすのであればリアルさは損なわれないが、汎用性があるフラットなオブジェクトを作ろうとなるとフラットな曇りの照明下で後でコントラストをやわらげたりしなければならない。樹木などの動いてしまうもの、透明なものもフォトグラメトリの天敵だ。それでも花やしきの入り口付近のディテールは均一なテクスチャでも細部まで作り込まれたディテールによってかなりリアリティある情景になっていた。

ジュエではドローン撮影できるという強みもあることから、今後は上空からも撮影することによって、建物まるまる一棟をフォトグラメトリで作り上げるということも可能なので期待も膨らむ。

他にもQuixel社のMegascansの素材から作ったアセットもCGアーティストの小林淳夫氏に作ってもらって用意した。MegascansはUnreal Engineのユーザーなら無料で使えるオブジェクトやテクスチャーであるにもかかわらず、実物をスキャンして精巧にテクスチャーも作られている。短時間でフォトリアルなモデルを作るならMegascansから配置していく方法が近道だ。

今回は照明も微力だと聞いていたのでLEDからの照明を最大限に使える人物がシルエットでも成立する情景を用意してもらった。このシチュエーションに関しては水の表現、風の表現などが画面が大きくなることによって、どこまで作り込まなければいけないのか？という指標を得るために用意したアセットだが、大画面LEDとなると同じ4KやHDで通常のモニターで見る以上に緻密さは必要になってくるという印象を受けた。

　 　　

XR技術の制御にSMODEを検証

そしてSMODEを体験できたのも良かった。Disguise、Rialityとよく比較されることが多いSMODEは、その中ではソフトウェアだけでも使用することができる敷居の低いアプリケーションだ。

　 　　

こちらもフォトグラメトリで作られたヨーロピアンな部屋の中のアセットだったが、VIVE Trackerを使用してカメラの動きに忠実に、そしてLEDのカバーできない部分までも撮った映像の上に重ねて出力出来たりするところは9フレームというレイテンシーをオフセットすることで解決している。詳しくはインタビューなども掲載する次回に期待したい。自分もデモ版を入手してしまったくらいだ。

今回の実験を主催したブリッジリンクの乃一勝憲氏は「実用的でリーズナブルなバーチャルプロダクションのサービスを提供することをゴールとして、その思いに賛同してくれる様々な会社と協力して実験を行いました。今回の知見をベースにブラッシュアップし、お客様にお見せする機会を作りたいと思います」と語ってくれた。今後の展開に期待したい。