キヤノン、読売新聞東京本社、日本テレビ放送網の3社は、2023年に東京ドームで開催の読売ジャイアンツ戦全試合を対象としてボリュメトリックビデオを行うことを発表した。
キヤノンのボリュメトリックビデオ技術は、内野にいるすべての選手の動きをキャプチャし、その動きと時間をコントロールしながらあらゆるカメラワークで映像生成ができる夢のような技術である。プレーの決定的瞬間を、たとえば選手の後ろからのカメラアングルなど、実際にはカメラのない箇所から捉えて映像生成することが可能だ。
今シーズンの読売ジャイアンツは門脇誠選手の華麗な守備が話題だが、その中でも2023年5月13日「巨人×広島」戦のボールを取って素早くノーステップで送球する自由視点リプレイ映像は特にファンの間で話題だ。日本テレビ公式野球中継のリプレイ映像を観てみると、自由視点映像では小さくジャンプして打球への反応速度を高めている様子を確認できる。決定的瞬間だけでなく、プレー直前から伏線を辿って見せてくれる点でも面白い技術である。
これらのボリュメトリックビデオの撮影、処理、制作はすべて東京ドームの施設内だけで完結している。キヤノンは球場内の施設を報道関係者に初公開したので、その様子を紹介しよう。
将来は内野視点の3D映像提供や3Dプリンターを活用したサービスの可能性も
PRONEWSでは改めてになるが、キヤノンのボリュメトリックビデオの取り組みや特徴から紹介しよう。ボリュメトリックビデオ技術の開発は基礎研究を経て2016年から本格的にスタート。2016年から2018年に、いくつかのスポーツ競技で実証実験を積み重ね、2019年の「ラグビーワールドカップ2019日本大会」で正式に導入。決勝戦を含む6試合を撮影した。この時は特別にカスタマイズした125台の専用カメラから自由視点映像を生成し、没入感のある自由な位置や角度の映像を公開して世界中を驚かせた。
この当時はまだ即リプレイには対応しておらず、試合終了後に大会ホストブロードキャスターに映像を提供する形だった。それでも運用自体は成功で、ここから自由視点映像を放送・映像配信事業者へ提供できるきっかけになったという。
その後、ラグビーワールドカップでの取り組みに関心を持った日本テレビからプロ野球中継に自由視点技術を採用できないかとの問い合わせを受け、2022年の東京ドームの読売ジャイアンツ戦にボリュメトリックシステムの仮設導入が決定。5試合のみだったが反響の高さや3秒後に指定したカメラアングルのリプレイが生成できる点が高評価され、2023年は常設の形で東京ドームの読売ジャイアンツ戦全試合での活用が決定したという。
ボリュメトリックビデオシステムの仕組みは、約100台のカメラの撮影画像から3D空間データを再構成するというものだ。内野守備エリアをブロックと仮定し、360°から同時に撮影された画像を照らし合わせて被写体以外を削除する。必要な部分だけを残すことで精緻な三次元データを作成して、3Dモデルを作成。色や質感などの情報を加えてカメラアングルを設定して、ボリュメトリック映像を生成する。
カメラはキャットウォークの手すりや柱に設置
キヤノンは今シーズンのボリュメトリックビデオシステム常設決定で、東京ドーム内の全周に98台のカメラを配置した。2022年は92台だったので、今シーズンは6台増えている。撮影された映像はカメラとセットのキヤノン独自のカメラ制御ボックスでデータに変換された後、自由視点映像生成サーバーに送られて3Dモデルが作成される。
カメラの配置場所は実は昨年、東京ドームの自由視点映像を初めて観たときは内野フェンスあたりではないかと予想した。しかし、実際はもっと離れたキャットウォークの手すりに設置されていた。キヤノンのボリュメトリックビデオシステムはカメラ配置の高さに制約はなく、キャットウォークのような高い場所でも設置可能であるという。キャットウォークがないバックスクリーン付近は、ビジョン下のグリーンの無人エリアに2台設置しているが、極力目立たないよう緑色の箱に入れて周囲と同化させている。
カメラはCINEMA EOSシリーズのEOS C300 Mark IIをグローバルシャッターにカスタマイズしたもので、レンズは主にサーボ搭載の望遠レンズCN-E70-200mmを使用。一度設置すると再設定が困難な位置にあるため、制御ルームからコントロールできるように工夫されている。
それにしてもキャットウォークから内野を守る選手まで相当な距離がある。この距離があっても選手の映像を実現できるキヤノンの技術には改めて驚かされるばかりだ。
中継車に設置した映像生成サーバーでボリュメトリック映像を生成
98台分のカメラの映像データは、サーバー車の映像生成サーバーに集められてボリュメトリック映像を生成する。サーバー車には19インチサーバーラックを3本搭載しており、3秒遅延で映像生成が可能。これを実現するために、一部の映像処理をカメラ側で行うようハードウエア化している。
ちなみにキヤノンのボリュメトリックビデオシステムは、可搬性に優れたシステムであることも特徴としている。「サーバー車」と「中継車」（制御室）に分かれて稼働が可能で、短期間のイベントでも迅速にセットアップできるようにシステムを最適化している。
2022年の仮設運用ではサーバー車と中継車の2台で稼働していたが、常設になった今シーズンは中継車の機材は東京ドーム室内に移動し、サーバー車のみ稼働していた。
仮想カメラコントローラーでカメラアングルをコントロール
カメラワークは、制御室内に仮想カメラコントローラーを設置してライブ操作とリプレイ操作を行う。カメラワーク生成の情報は映像生成サーバーに送られ、生成されたカメラパス映像を光ファイバー経由で日本テレビに提供する。
まとめ
キヤノンのボリュメトリックビデオ技術はこの先、スポーツ中継の方法やエンターテイメントの楽しみ方を変える存在になりそうだ。
撮影現場の面では、「今回はボリュメトリックビデオなのでカメラクルーは不要」という現場がでてくるかもしれない。
スポーツ観戦の面では 、キヤノンUSAが全米プロバスケットボール協会のクリーブランド・キャバリアーズと連携して、 ボリュメトリックビデオシステムを使ったVRサービス関連の取り組みを発表。自宅にいながらコート内の視点で試合を観戦できるサービスの実現を目指しているという。日本のプロ野球観戦でも、同様のサービスが開始されるのではないかと予想される。
今後、ボリュメトリックビデオは試合の微妙な判定など、様々な応用や展開が期待できそうだ。
