グリーンバックを使わずに合成！パナソニック「Video Mixer」レビューVol.02

クロマキーなしで合成できるソフトウェア「Video Mixer」

「合成映像の撮影」と聞けば、まず頭に浮かぶのはグリーンやブルーの背景を使ったクロマキー合成だ。この技術はアナログ映像時代から用いられ、現在も多くの場面で利用されているが、いくつかの課題がある。

グリーンバックなどのクロマキー用背景の設置が必要である。小規模な被写体なら小スペースで撮影可能だが、複数人を撮影する際には、背景全体を収めるスペースが必要だ。また、衣装や小道具にも制約が生じ、背景と同じ色や反射しやすい素材は使えないため、デザインや演出の自由度が制限されることがある。

近年、グリーンバックの代わりにLEDウォールを使い、背景を映し出すバーチャルスタジオが登場しているが、導入コストが高く、手軽に使えるものではない。

これらの課題を解決するために登場したのが、パナソニックの「Video Mixer」だ。このソフトウェアはAI技術を用いて、グリーンバックなしで高精度な背景分離を実現する。

今回はこのソフトウェアの使用方法を紹介し、現場での有用性を考察する。

製品の特徴と概要

「Video Mixer」は、パナソニックが提供する「Media Production Suite」の有償プラグインだ。Media Production Suiteは、パナソニック製カメラを用いた映像撮影でデバイスを一括管理し、カメラコントロールを円滑にするソフトウェアプラットフォームである。

詳細な機能・操作については、以前の記事で解説しているので、こちらの記事を参考にしてほしい。

このプラグインを導入することで、AI技術を使った「AI Keying」により、グリーンバックを使わずに人物と背景を分離し、簡単に複雑な合成が行えるスイッチャー機能が使用可能になる。また、AI Keyingで作成されたKEYを外部スイッチャーに渡して合成を行うことも可能だ。

また、SDI/NDI®※1/SRTなど多様な入出力に対応しており、複数の合成パターンをワンクリックで瞬時に切り替えることができる。（SDI入力にはBlackmagic Design製ビデオカードを使用）これにより、外部ハードウェアスイッチャーを用意せずにMedia Production Suite内でスイッチングが完結する。

「Video Mixer」を実際に使ってみた

セットアップ

Media Production Suiteをインストール後、「Video Mixer」プラグインをアクティベートし、まずはリモートカメラの検索・登録を行う。

今回は、デモ機材としてお借りしたリモートカメラ（AW-UE50）とPCをネットギア社のスイッチ「M4250-10G2XF-PoE++」を介して同じネットワークに接続。そして、前回の記事で紹介したMedia Production Suiteの基本機能「Device View」を使用して、カメラの機器検索と管理を行った。

入出力設定

左側メニューからVideo Mixerを選択すると、スイッチャーでよく見るようなマルチビュー画面が表示される。実際に使用する場合、ここに表示される映像ソースを直接クリックすることで映像スイッチングを行うことができる。

まずはVideo Mixerに入力する映像を設定する必要があるので上部メニューからI/O Settingを選択し、入出力の設定を行った。

I/O Setting画面に移動すると、Video Mixerに入力する４つの映像ソースを設定できる。先述したとおり映像ソースはSDI/ NDI®/SRTを指定できる。

Video Mixerが出力するフォーマット(上記画像では1080/29.97p)と２系統の出力の内容もこちらで設定が可能だ。出力映像はDSKを含むPGMのほか、DSKを除いたPGMやKEYのみなど柔軟に選べる。さらに、NDI®出力ではキーイング済みの映像をアルファチャンネル付きで出力することが可能だ。

各入力ソースの設定画面は以下の通りだ。Media Production Suiteに登録したパナソニック製のカメラであればドロップダウンメニューから選択するだけでよい。パナソニック製のカメラ以外を入力する場合はOtherを選択後、Executeボタンを押し、見つかったNDI®デバイスリストから選択することができる。

NDI®は現在主流のNDI® HX2/NDI® HX3のほか、古い規格のNDI® HX1も対応しているのでさまざまなカメラが混在した環境でも使用することができる。処理能力の関係でNDI®の入力は２つまでが推奨であるようだ。（３つ以上使うとドロップフレームが発生する恐れがあるという警告文がみられる）

出力設定画面では出力するインターフェースと名称・透過情報の有効・無効を選ぶことが可能だ。

入出力の設定が完了したら、Video Mixer Enableを有効にし、各入力のReceptionをONにすると映像の入出力が開始される。

合成に使用する背景素材やDSKで使用する画像などはMedia画面で管理することができる。

AIによる人物・背景分離のための背景登録を行う

AI Capture画面では、AI Keyingに必要な被写体無しの背景映像を登録することができる。AIはこの画像を参考に背景と人物を分離する。PTZカメラであれば、背景設定時のPan/Tilt/Zoom情報を自動的にプリセットとして登録できる。

Scene画面で実際の合成レイアウトを構築する

Scene画面でVideo Mixer用の合成パターンを複数作成できる。合成パターンはレイヤー構造で管理することができ、背景とキーイングされた被写体の間に別素材を埋め込んだり、被写体の上にさらに透過情報付きの画像を載せることも可能だ。

レイヤープロパティ項目で入力ソースやAI Capture画面で設定した背景を選択できる。各レイヤーはもちろんサイズや位置の調整もできる。

Multi View画面でスイッチングに使用するソース・シーンを登録する

ここまでで入出力設定・メディア設定・シーン設定が完了したので、これらをスイッチングできるようにMulti Viewへ登録していく。

右側のSetting modeをオンにするとMulti View画面の内容を編集することができる。セッティングモードではMulti View画面のレイアウトと各ビューの内容を設定できる。

各ビューには入力ソースや登録したメディア・シーンやキー情報を選ぶことができ、クリックした時のトランジションまで設定することが可能だ。

PGM Outの設定画面ではDSKソースを設定できる。フタ画のような取り切り画像のほか、アルファチャンネル付きの画像を選択することでテロップ表示なども可能だ。

Multi Viewを設定し、右下のDSKをONにした状態が上の画像に示されている。Scene1の映像に別の画像が重ねられていることが確認できる。

お借りしたPCには予め画像や動画、シーンがいくつか登録されていたので60分ほどでここまでの設定が完了した。新規インストールした場合は一からの設定となるが、あまり変わらない時間でセットアップを行うことができる。AIによって自動的にキーイングを行ってくれるのでグリーンバックの照明調整やクロマキー合成のパラメータ調整といった時間のかかる作業がすべて不要であり、短時間でセットアップが完了できる。

使ってみて感じた利点

「Video Mixer」の利点は、グリーンバックを使用しないことにより撮影場所や服装に対する制約がなくなるだけでなく、システムの構築が非常に簡単で柔軟性が高い点にある。このソフトウェアは「Media Production Suite」のプラグインとして機能するため、機材管理やIP接続といった一連の操作を一つのプラットフォームで完結できる。この統合性により、複雑なシステム構成が不要になり、映像制作の効率が大幅に向上する。

さらに、パナソニックは2024年9月、リモートカメラおよびカメラレコーダーのNDI®対応機器を拡大するプレスリリースを発表した。これにより、対象の製品は、今まで必要であった有償のライセンスをVizrt NDI ABから購入せずとも、NDI®に無償で標準対応することとなる。

さらに、GUIがシンプルで直感的に操作できる点も大きい。各設定項目が整理されており、必要な情報に素早くアクセスできるため、操作ミスや手間を抑えられる。

まとめ

数年前にはまだ発展途上だったAI生成技術も、今では本物と見間違うほどの画像や映像、音声を生成できるようになってきた。「Video Mixer」は、今後もAIによる合成機能が随時アップデートされる予定なので、映像制作者にとって背景合成の選択肢がさらに広がり、AIによる背景合成普及の足がかりになることを期待したい。

有償プラグイン「Video Mixer」には試用期間が設けられており、Media Production Suiteをインストールすることで30日間無料で試用可能だ。グリーンバックの設営・撤収に手間を感じている人に、この利便性をぜひ体感してほしい。

このソフトウェアを初めて使用する人でも、公式サイトにはセットアップから操作までを解説するチュートリアル動画が豊富に用意されているため、それらを参考にしながら使い始めるとよいだろう。