MFシネマレンズをAF化する、超最先端技術：DJI社3D空間測距「LiDAR Range Finder」の技術背景を探った

まるでフォーカスマンが合わせているかのようなMFレンズ用AFシステム「LiDAR Range Finder」とは？

ミラーレス一眼のAFは日々進化し続け、最近では多くの動画がAFに頼る撮影になってきている。しかし、映画の世界では、いまだにMFが当たり前だ。なぜならピント自体が映像表現であり、機械任せの高速AFは確かにピントは正確に合うものの、映画の世界観を壊すような、ある意味で乱暴なピント合わせに思える。

ところが2022年の夏、画期的なAFシステムの新製品が登場した。DJI社「LiDAR Range Finder」である。元々、同社のジンバルDJI RS 3 Pro（以下：RS 3）用の機械（フォーカスモーター）式のフォローフォーカスユニットなのだが、使ってみて、そのピント合わせの精度と自然なピント合わせに驚かされた。

「もう、フォーカスマンを呼ぶ必要がない！」

と口に出てしまうほどで、筆者がYouTubeでサンプル動画を公開した瞬間、プロカメラマンたちから問い合わせが来たほどだ。

赤外線レーザーで3D立体地図を作成し、その中から人間だけを抽出してピント合わせを行うシステム

DJI社LiDAR Range Finderは、赤外線レーザー式3Dマッピングを行うユニットと高精度な2022年新開発のフォーカスモーターを組み合わせたシステムで、目に見えないレーザー光（赤外線Class1）を照射し、およそ40000箇所の距離をリアルタイムに測定し、3D空間として把握する。そうして作られる3D空間から人間を認識してピント合わせを行う。もちろん、カメラが動いていても被写体が動いていても、随時、3D空間を測距し続ける。

現在は、同社のジンバルRS 3から設定を行う仕様となっているが、一度設定が終わったLiDAR Range Finderは単独でAFを行える仕様だ。

DJI社LiDAR Range FinderにはRGBカメラ（通常の人間が視認できる普通のカメラ）が搭載されており、その映像がRS 3に表示され、LiDAR Range Finderが認識している人物やトラッキングする対象物をカメラマンが見ることができる。AF方式は大きく分けて2つあり、1つは「フレキシブルAF」でカメラマンが選んだ対象物にピントを合わせる。ソニーなどのトラッキングAFと同じだ。もう1つは「ワイドAF」で、こちらは画角内の人間をAIにより自動認識し、その人物にピント合わせるものだ。

まず、「フレキシブルAF」だが、RS 3のモニターはタッチパネルになっており、ピントを合わせたい対象物を選ぶことができる。これは最近のミラーレス一眼の「トラッキングAF」と同様で、カメラマンがエリア指定した対象物を可能な限り追い続けピント合わせ（およびジンバルの構図調整）を行う。トラッキングのオンオフはRS 3のトリガー（グリップ部分の引き金）で簡単に行える。

一方の「ワイドAF」は非常にユニークで、画角内のほぼ全ての人間を見つけてマーク表示される。どの人物にピント合わせするかは、「自動選択」と「手動選択」が可能だ。トラッキングがオフ時には、全ての人物にマークが施され、ピント合わせ対象として選択されている人物には黄色マークが出る。この状態でトリガーを押すとAFが起動しマークが緑に変わると、トラッキングが開始される。一方、対象人物を別の人に切り替えるには、RS 3の前方ダイヤルを左右に回す。ダイヤルを回すと先ほどのAF対象者マークが次々に隣の対象者へ切り替わり、ピント合わせが行われる。

もう、お気づきかと思うが、手前の人物から奥の人物へピントを送りたい場合、単にマークを切り替えてトリガーを引くだけでいい。しかも、そのフォーカスの移動速度は調整可能で、実際に使ってみると、非常に自然なピント移動で、まるでフォーカスマンが気を使ってピント送りをしているかのような錯覚を覚える。

ほぼ全てのMFシネマレンズをAF化することが可能

LiDAR Range Finderは、フォローフォーカス（フォーカスギアをフォーカスモーターで動かす）を高度に制御することで、MFレンズをAF化する。つまり、フォローフォーカスが使えるレンズであればAF化することが可能だ。フォーカスギアがないレンズでも、ギアバンドをピントリングに巻き付けることで利用可能だ。

一方、フォーカスリングが無限に回ってしまうAFレンズは使えない。使えるのは、いわゆるヘリコイド式のMFレンズである。ヘリコイド式であれば写真用オールドレンズでも利用可能だ。

気になるAFの精度だが、筆者が試したところではスーパー35センサーのカメラに50mm F1.2を付けたものにLiDAR Range Finderを用いたところ、開放F1.2で最短の50cmから無限遠（ただし、LiDAR Range Finderの測距は14m程度まで）まで完璧にピントが合った。しかも、メガネをかけている人物の顔のアップでも、瞳にばっちりピントが合う。被写体が動いても、当然のことながらピントは合い続ける。被写体やカメラが動く場合のピントの遷移は、まるでフォーカスマンがピント合わせをしているように滑らかに被写体を追う。LiDAR Range Finderが立体的な位置（距離）を把握しているので、ミラーレス一眼のAFのようにピントが迷うことがない。この辺りは開発者のインタビューで触れることにしたい。

なお、余談だが、RS 3は、上記のピント合わせと構図合わせを自動的に行うActiveTrack Proが搭載されており、実際に使ってみると、まるでカメラマンがピント合わせと構図合わせをやっているかのような、非常に自然なカメラワークを提供してくれる。事実、実際の撮影現場で、筆者はマルチカメラの1台をRS 3＋LiDAR Range Finderの無人カメラで収録することも多い。構図合わせも、まるで人間がやっているかのようで非常に自然だ。しかも、カメラマンの操作は非常にシンプルで、非常に簡単に扱うことができる。

この自然なAFのピント合わせについて、開発者へのインタビューを行った。なお、最先端技術ゆえ、開発者のお顔やお名前は伏せさせていただくことにしたい。

開発者インタビュー

LiDAR Range Finderは、どういうシステムなのか？

非常に小さなユニットで高度なAFを実現できた背景は？

重量僅か約130gの手のひらサイズのLiDAR Range Finderは、1つのレーザー測距ユニット（LiDAR）と1つのRGBカメラ、2つのUSB-C端子（モーター制御用とジンバルとのデータ通信&電源）を持ち、2つの操作ボタンだけという非常にシンプルな構造だ。本体上部には放熱フィンと放熱ファンを備えており、内蔵されたプロセッサが高度な処理をおこなっていることが窺える。

高度なAI処理を駆使しているとのことだが、リアルタイムに3Dマップを作成しながら、ピント合わせをする対象物を検出し、距離だけでなく、その大きさや形も把握しAF動作をおこなっているということだ。それがジンバルからの電源だけで動くこと自体がすごい。

実はこれまでDJIは、3Dカメラ（2つのカメラの輻輳による立体検知式）を使ったAFユニットを出していたが、精度の上で完璧ではなかった。そこでRonin 4D用にレーザー式のAFユニットが開発され、非常に評判が良いAFに仕上がっていた。それをさらに進化させたのがLiDAR Range Finderである。

まるで人が操作しているかのようなAF。既存のコントラスト検出AFでは不可能かもしれない

LiDAR Range Finderの魅力は、AFの挙動が、人間が操作しているかのような自然な動きであることだ。これが非常に優れていて、この味付けのAFを手に入れたいだけに、筆者はRS 3を購入してしまった。そこで、一般的な撮像センサーを使ったAFが人のピント合わせと、LiDAR Range Finderがなぜ異なっているかという話をしておくことにしたい。

ミラーレス一眼などに搭載されているAFは、センサーに映る画像（映像）のコントラストなどを分析してフォーカスを合わせる。画像のコントラストを周波数成分ともいうが、ピントが合うと画像の周波数成分が高くなる。周波数が高いというのは、隣り合うピクセルの差が大きいという意味だ。ピント合わせを行うと、例えば、前ピンの時は全体がボケている。これが周波数が低い状態で、ピントを送ってピントが合い始めるとボケが小さくなり、隣り合うピクセルの差が大きくなる。これが周波数の増大。そしてピントが合うと周波数は最大になり、ピントが行きすぎると画像がボケ始める。ボケると周波数は低くなる。つまり、ピントが合っている場合、周波数が一番大きくなるということだ。

なぜ周波数を使うのかというか、ピント合わせを数字で行えるということだ。ミラーレス一眼などのAFは、画像の周波数を数字として捉えて、その数値が最大になるようにレンズ位置を調整するわけだ。どこか一点だけにピント合わせをする場合には、そのエリアだけの周波数を割り出し、ピント合わせを行う。トラッキングも同じ理屈で取り出すエリアを変えながら、その場所の周波数が極大になるようにレンズ繰り出しを行うということだ。これがコントラスト検出式AFである。

ここで多くの方が理解していると思うが、このコントラスト検出式AFだと、ピント合わせを始める瞬間は、今映っている画像の周波数だけしかわからないので、それが前ピンか後ピンかはわからない。ここがこのAFの癖を作り出しており、動画では好ましくない挙動の原因となる。

AFは、現在が前ピンか後ピンか分からない状態からピント合わせが始まる。そこでまずダミーのピント送りをしてみる。ダミーのピント送りで周波数が低下したら（ボケが大きくなれば）、ピント調整の方向（手前か奥か）が間違っていたとして、逆方向へレンズを動かす。そのままピントを送り続けて周波数が最大になるまでレンズを動かす。ただし、周波数を観測（計算）し続けると、その分だけAF速度も遅くなる。そこでレンズの移動量と周波数の変化を比べて、およその被写体までの距離（ピント位置）を割り出して、一気にその位置までレンズを動かす。つまり、ピントのハズレ具合（ボケの大きさ）でAF速度が変わるということだ。さらに見当をつけたピント位置付近で詳細なコントラスト比較によるピント合わせを行う。つまり、ピント位置付近でダミーのレンズ繰り出しを行って、周波数が極大する位置を探る。

これが静止画撮影なら、AFの挙動は問題ない。ピントが合った瞬間にシャッターを切るので、ピント合わせ中の挙動は作品に影響しない。とにかくAFは速ければいいのだ。

ところが動画の場合、先ほどのダミーのピント合わせが映ってしまう。レンズのブリージングが大きい場合には、このダミーのピント合わせが画面の揺れのように見える。また、ピント合わせの途中の加速も不自然だし、AFが速過ぎることによってジャンプカットのように見える。動画では、この高速AFが仇となって不自然さを感じさせてしまうのだ。それゆえ、映画ではいまだにMFで撮影される。

DJIのAFが人間らしい秘密に迫る

さて、前述のように、スチル用のAFが動画撮影では使いにくいことも多い。もちろん、最新のソニーのAFは、そんなスチル用AFの悪い癖を隠すチューニングが行われており、多くの映像カメラマンたちも使い始めている。

ところが、冒頭で書いたようにDJIのAFは次元が違う。とにかく、人間がピント合わせをしたかのような動きを見せてくれる。

DJIのLiDAR Range Finderは、コントラスト検出式ではなく、レーザー光による3D測距を行い、ターゲットまでの位置や形まで検出している。被写体の動きも、現在のポイント位置に対して手前なのか奥なのかはもちろんのこと、距離の差、ピント位置から被写体がどれだけ離れているかも検出している。それゆえ、コントラスト検出式AFのようにピントを探る動作をせずに、被写体の位置までピントを送ることができる。これが自然なピント合わせの原動力になる。またレーザー光が当たりさえすれば、被写体がどんな動きをしても追従してピント合わせが可能だ。

しかし、そのことと人間らしいピント合わせは別の話だ。

そこで、プロダクトマネージャーに開発コンセプトを伺ってみた。

これまでのAE（自動露出）やAFは、機械側が最適と思う結果を人に提示して、良ければシャッターを切るというスチル撮影の発想だったと思う。つまり「提案」＞「承認」というプロセスだ。

しかし、動画では、機械に提案されることを人が承認する形の作業では、様々な不具合が生じる。DJIの主力製品であるドローンを取ってみれば一目瞭然だ。人の判断を先回りしなければドローンは障害物に激突してしまうかもしれないし、不意の突風に対する操作が遅れれば墜落してしまう。つまり、DJIの技術というのは、人がやらなければならないことの先回りをすることであり、人がやりたいであろうことを先読みして実行できるということにあると筆者は思う。

さらに、この人間っぽいフォーカスを作ったAF開発者B氏に話を聞いた。

確かに、プロのフォーカスマンは、単に素早くピント合わせをするというのではなく、見ていて心地よいフォーカス移動を行っている。それは単純な直線的なフォーカス移動ではないし、単純な加速度的（二次曲線的）な動きでもない。やはり、動かし始めに気づかれずにピント送りが始まり、止まるのもなるべく気づかれないように優しく止める。これは被写体との距離やレンズ焦点距離によって異なるし、座り芝居とアクションシーンではピントの送り方も異なる。その学習結果を取り込み、ピント合わせ動作に反映させているわけだ。

さて、ここでプロカメラマンのフォーカスを学習してピント合わせをしていることを公開してしまったわけだが、他社が同じように人の操作を真似した技術を開発し始めるのは、DJIとして問題はないのだろうか？

それに対して開発者Bさんは、余裕の笑顔を浮かべて、

今回、LiDAR Range Finderと同時に新しいフォーカスモーターが開発されている。他社のフォーカスモーターに比べてサイズは小さいものの、非常にパワフルだ。実際に、筆者がいくつかのマニュアルレンズをAF化してみたが、かなり粘りが強いヘリコイドのレンズでも問題なく、しかも超高精度にピント合わせができた。このモーターが今回の高度なAFシステム実現の決め手なのかもしれない。

レンズキャリブレーションの手順

LiDAR Range Finderの運用をイメージしていただくために、レンズキャリブレーションの手順を紹介しよう。

1. レンズを装着し、フォーカスモーターを取り付ける
2. LiDAR Range Finderをキャリブレーションモードにする（RS 3で操作）。3つのレンズのキャリブレーション情報をLiDAR Range Finder本体に記録できる
3. レンズ情報はプロファイルと呼ばれ、レンズのフォーカスリング回転量、回転方向、ピント情報などが記録される
4. プロファイルを作成する。レンズ名（焦点距離）を入力する
5. 次にモーターキャリブレーションを行う。LiDAR Range Finderに、このレンズの最短と無限遠のフォーカスリング位置を把握させる
6. 約1mの位置にターゲットとなる被写体を置き、手動でピント合わせを行う（実際にはRS 3のダイヤルでピント合わせが行える）。ピントが合ったら、「了解」ボタンを押して次へ
7. 約4mの位置にターゲットを置き、同じようにピント合わせを行う

ENGレンズを使ったことがあれば、上記がレンズのバックフォーカス合わせと同じプロセスだとお気づきだろう。1mと4mで調整すれば、ミリ単位のピント合わせが可能なのはENGレンズでも同じで、AFでも同じというわけだ。今から100年近く前に開発された螺旋のネジでレンズを動かすヘリコイド式のフォーカスが、最先端のAFとの相性がいいというのも面白い。

逆に、フォーカスモーターでレンズを動かすAFレンズの場合、レンズの最短と無限遠の位置はピントリングの絶対的な位置ではないし、リングの回転量とピント移動量がどういう関係になっているか分からないので、LiDAR Range Finderでコントロールすることができない。

単独で使えるLiDAR Range Finderのここがポイント

メーカーによると、Ronin RS3 Proでキャリブレーションが実行されている場合には、LiDAR Range FinderとフォーカスモーターだけでAFを実現できるとある。しかし、実際にやってみると、これがなかなか動かず、世界中で「どうしたらいいんだ！」と悲痛な声もよく聞く。筆者も、ここ数ヶ月、いろいろとやってきたがうまくいっていなかった。だが、ようやく動かすことができた。次に説明しよう。

まず、LiDAR Range Finder以外に用意するものがある。D-Tap出力のある電源とD-Tap → USB-C変換の電源ケーブルだ。おそらく、機器の相性もあるので筆者が使っている製品は別途リストにしておく。

接続は簡単で（カメラにLiDAR Range Finderとフォーカスモーターが接続された状態で）、

ワイドAFで動作

LiDAR Range Finderの単独動作の場合、AFモードは『ワイドA F』に固定される。このモードは画面の中央寄りにいる人物を検出してAFを合わせる仕様だ。ターゲットを選ぶことはできない。人物がいない場合には中央重点のAFになる。なお、動作方法は筆者のYouTubeでも紹介している。

LiDAR Range Finderの未来について

現在、RS 3専用のAFユニットであるLiDAR Range Finderだが、単独で使いたいという声は多いだろう。

DJI Transmissionは、超低遅延で約4km先まで映像と音声、およびカメラコントロールが可能になるビデオモニターだ。ゲームコントローラーのようなグリップを取り付けることによって、カメラをリアルタイムにコントロールすることができる。現在ではRonin 4DとRonin 2もコントロール可能だ。

このインタビューの時にも、ユーザーでもある筆者からいくつかの要望を出させていただいたが、2023年１月にリリースできるよう頑張ろうという声が出るくらい、ユーザーの声を大切に考える企業だと感じだ。今後のDJIに期待したい。