txt・構成：編集部
12K解像度にデジタルズームを駆使した映像作品
ライゾマティクスは、2020年9月25日から3日間開催された「インテル PC FES 2020」にて、ダンサーがパフォーマンスを繰り広げる映像作品、ELEVENPLAY x Rhizomatiks “S . P . A . C . E .”を公開した。
9人のダンサーは感染拡大防止で一定の間隔を保ちながらも、手の角度や位置をシンクロさせて精度高く踊る。その様子をBlackmagic URSA Mini Pro 12Kの高解像度で撮影し、機械学習の技術でポーズを認識して手足の位置を解析する。見どころはダンサーの両手幅に合わせて、短冊状の映像幅が変化するシーンだ。マーカーレスと自動編集で実現と聞いて、映像表現に新しい可能性を感じないわけがない。
話題のURSA Mini Pro 12Kをどのように活用して、「S . P . A . C . E .」を実現したのか？クリエイティブ/テクニカルディレクターの真鍋大度氏とビデオグラファーの本間無量氏に話を聞いてみた。
真鍋大度オフィシャルYouTubeチャンネルで公開されている「S . P . A . C . E .」。後半は真鍋氏とダンスカンパニーELEVENPLAYのMIKIKO氏インタビューを紹介している
ビデオグラファーの本間無量氏（左）とクリエイティブ/テクニカルディレクターの真鍋大度氏（右）
――「S . P . A . C . E .」のチャレンジやコンセプトを聞かせてください。
真鍋氏：12KはフルHD（2K出力）の場合、かなり自由にズームができるので、ズームを活かした映像作品を作ろうと考えました。「S . P . A . C . E .」は、最初から最後まで12K解像度の引きで一発撮影し、その中でフルHDまでデジタルズーム処理やフレームの動きを編集しています。
また、ダンサーは感染拡大防止で密接して踊ることはできない状況なのと、12K映像での撮影が相性が良いと思ったので、「S . P . A . C . E .」では一定間隔の距離を保って踊り、最終的な映像では近くで一緒に踊ってるように見せたり、一緒に踊っていたら出来ないような幾何学的な表現を作れたら面白いと考えました。
そこでダンサーのポーズの解析を機械学習技術を用いて行い、その結果を使ってダンサーの位置にズームをしたり、両手の幅に応じてクロッピングするような自動編集を行いました。
――「S . P . A . C . E .」は12K解像度ありきで考えた感じですか？
真鍋氏：私は普段から新しい技術を使って、さまざまな研究開発やプロトタイプ制作を重ねています。その中の1つに12Kを使った映像制作、映像解析があった感じですね。
――これまでの撮影と違う技術を使っていれば教えてください。
真鍋氏：これまでのポーズの解析はマーカーをつけて特殊なカメラを使うのが一般的でしたが、「S . P . A . C . E .」では機械学習技術を用いて12Kの映像から9人のダンサーの顔の特徴点や関節の位置を解析しました。解析精度の高さと解析のスピードはトレードオフになっていて、ざっくりとした解析ならば解像度を落としてリアルタイムで処理することもできます。逆に精度を高くしたい場合は、解析に時間かがかかります。今回は最終形態がリアルタイムパフォーマンスではなく映像納品だったので、解析に時間をかけて、精度を高めることを選びました。
――映像解析とは、具体的にどのような作業なのでしょうか？
真鍋氏：12Kの画像をそのまま処理することはビデオメモリの問題などで難しいため、9枚の4K画像に分割する方法と、4Kに低解像度化する方法を試しました。どちらか片方を使うということではなく、解析結果が良い方をソフトウェアで自動的にフィルタリングして選んでいます。
また解析の流れとしては、まず最初に人の位置を検出して、その後にその中にいる人のポーズの情報、顔の特徴点と関節の位置を解析しています。その解析結果をテキストファイルに書き出して、映像生成用のソフトウェアで読み込みズームやクロッピング、複雑なワイプなどを行いました。
選んだレンズはツァイスのMaster Prime
――12K解像度の撮影で、ボケや歪みで悩まされることはありましたか？
本間氏：歪みは確かに発生しますが、できるだけ歪まないレンズを選びました。また、野外撮影ですので、フレアが入らないことも意識しました。
何種類かのレンズを試して、その中からツァイスのMaster Primeを選びました。
ビデオグラファーの本間無量氏
――ラージフォーマット対応のSupreme Primeを選ばなかったのはなぜでしょうか？
本間氏：Supreme Primeには、選びたかった40mmがまだありませんでした。撮影スペースの問題もあり、Supreme Primeは見送ることになりました。
――デジタルズームで寄ったときのクオリティはいかがでしたか？
真鍋氏：本番の前にいろいろと撮影テストを行った結果、配信で見せる分には問題ないと判断しました。もちろんズーム映像をみると、ダンサーの位置によってはもう少しパキッとしていてほしいところもありました。しかし、配信解像度はフルHDでしたので許容範囲としました。
本間氏：撮影時の感想ですが、フランジバックの調整とフォーカスがシビアだなと思いました。画質は最大まで寄ると眠たくなってしまうので、最終的にはシャープネスを上げました。
――撮影現場では、どのようにして12Kを確認されましたか？
本間氏：12K映像を確認できるモニターがないので、4K収録モニターを使いました。現場で使用したのはSUMO19で、拡大ズームで確認しながら撮影を行いました。基本的には4K撮影のときから機材は変わっていません。
クリエイティブ/テクニカルディレクターの真鍋大度氏
――Blackmagic RAWの圧縮率は何を選ばれましたか？
本間氏：「Blackmagic RAW 固定クオリティ Q1」です。上から2番目のクオリティを選びました。
――Blackmagic URSA Mini Pro 12Kを使用してみていかがでしたか？
真鍋氏：12Kは2Kだと36枚、4Kだと9枚撮れます。それだけでもいろんなアイデアが湧いてきますよね。クリエイションのインスピレーションを与えてくれる素晴らしいカメラだと思います。まだまだ制作や編集は大変なポイントが多いなとも思いました。
本間氏：Blackmagic RAWは結構扱いやすかったのですが、ソフトウェアチームに渡すためには使えるデータに変換する必要がありました。12K解像度のレンダリングには、結構な時間がかかりました。
――今回の作品を通じて、12K解像度の使いどころで感じたことがあれば教えて下さい。
真鍋氏：URSA Mini Pro 12Kは驚きを持って登場しましたが、ディスプレイでも12K解像度が出てきたら驚きが感じられるかは未知数です。現在、6K解像度で作業をしていますが、この解像度が倍になったときの肉眼から見える映像体験はどの程度のインパクトがあるかは分かりません。
一方、ズーム耐性が強いのは利点です。例えば、群衆を撮影した際に4K撮影だと人の顔のディテールが撮影出来ませんが、12Kだと撮影可能です。顔の特徴点や表情を分析する際に便利に使えるので防犯などにも応用出来ますし、今後色々なところで使われていくのではないでしょうか。
本間氏：今回、Blackmagic RAWや12Kを探り探りに使いましたが、結構奥が深くて面白かったです。しかし、12Kに落とし込んでデジタルズームで活用など、私の中ではまだ追いついていない感じです。
