カメラ内でワークフロー完結。画期的な360°カメラ「Pilot One EE」

概要

Pilot One EEを製造しているShenzhen Pi Software Technologyは、2012年に創設された中国・深圳のスタートアップのハイテク企業であり、Labpanoは同社のパノラマ技術にフォーカスしたブランドだ。創設者でありCEOのシェン・ジンチェン氏は、香港科技大学の電子工学の科学プログラムのマスターであり、同大学のチームメイトと共にLabpanoを立ち上げている。

同社はこれまでにアリババやHuawei Cloud、Tencent Cloud等とパートナーシップを締結、Baidu VR、Skyworth VRなどとも提携して、高品質のパノラマコンテンツを作成している。

近年、同社はコロナ禍との戦いを報道するメディアに対して、VRライブのデバイスを寄付し、武漢市の臨時医療施設であった江夏方艙病院についてのタイムリーなドキュメンタリーが、スムーズに制作されるように支援した実績がある。同社の簡素化されたソリューションによって、8KHDR映像のプラットフォームへのダイレクトなアップロードが可能となり、現場での取材効率が大幅に向上、ニュースの速報性に貢献した。

2022年4月には、中国の自動車メーカーBYD Auto（比亜迪汽車）との戦略的パートナーシップを締結。Labpanoの車載360°の3Dレンダリングシステムが、数百万台の車両に搭載された。従来の車では、ドライバーが外の環境を見る方法はバックミラーを通してであり、多くの制限があったが、車載360度3Dレンダリングシステムを使用すると、車外の360度環境を見ることができるのだ。

Labpanoからは、4種の360°カメラが発売されており、それらはプロフェッショナル向けと産業向けの2つのカテゴリーに分けることができる。プロ向けとしては、「Pilot Era」とPilot Oneが用意されており、両機ともスマートスクリーンとAndroid OSを備えた8K360°カメラとなっている。

2019年4月に発売されたPilot Eraには、3.1インチのスマートタッチスクリーンが採用され、本体から直感的にカメラを操作することができる。7200mAhの取り外し可能な大容量のバッテリーと512Gのストレージを内蔵。3～3.5時間のライブ配信をサポートし、外部電源と外部マイクの接続に対応している。

Pilot Eraを、コンパクトにしたつくりのPilot Oneは、2.2インチのスマートタッチスクリーンを採用。内蔵3400mAhのバッテリーが搭載され、ユーザーのニーズに合わせて128Gと512Gのストレージを選択することができる。Pilot Era同様、外部電源と外部マイクがサポートされている。

両機ともにAPIシステムが公開され、ユーザーが独自のシステムを開発することをサポートしている。2020年10月12日に「Pilot One EE（Enhanced Edition）」（屋外向けの強化版）がローンチされ、GPS機能内蔵、IP65の防水性能、耐衝撃、防塵性能を保持したモデルになっている（現在、初代Pilot Oneはディスコンである）。

産業向けには、「Pilot Lock」と「Pilot Insight」の2種類がある。2020年3月発売のPilot Lockは、IP67の防水、防砂、耐酸性を備えた360°ライブカメラで、-40℃～55℃の過酷な環境下での作業をサポートし、アウトドアシーンに最適とされている。

一方、2021年3月に発売のPilot Insightは、IP65の全自動360°ライブカメラで、防水、防塵、腐食防止、塩水噴霧保護等が施され、-20℃～45℃の環境下での作業に対応。PoE給電により、電源を入れてすぐに動作を開始するシンプルな操作系になっている。

また、リモートでセキュリティや作業を監視および管理することができる。ライブモニタリングは屋内のみ可能であるが、価格はPilot Lockよりリーズナブルになっている。2020年にLabpanoはチャイナモバイル、新華社通信社と共同で、エベレストのベースキャンプの5800mと6500m地点で、Pilot Lockを使用した7日×24時間の世界初のライブストリーミングを実施した。Pilot Eraは、エベレスト山頂の標高8848mでライブ配信をおこなった世界初の8K 360° VRカメラである。

Pilot One EEの主な特徴

Pilot One EEは、プロ向け、業務用途の360°カメラとして、様々な機能を実装している。以下に主な特徴を挙げてみよう。

外観とユーザーインターフェース

Pilot One EEは、サイズが44mm×44mm×127mm、重さが395gで、2019年に発売されたPilot Eraよりコンパクトな設計で、持ち運びが容易になっている。

光学系としては、4つのF2.28の非球面魚眼レンズがボディ4面の上部に配置され、それぞれソニーの12MPのCMOSイメージセンサーが使用されている。2.2インチ、解像度640×360のTFT-LCDマルチタッチディスプレイと物理的なホームボタンがボディにレイアウトされており、カメラから直接操作をおこなうことが可能だ。Pilot One EEは、衝突時の衝撃防止のために金属製の筐体（ハイブリッド新素材アルミニウム合金素材）を採用、それがある程度の放熱にも一役買っており、IP65防水、防砂、防塵機能も備えている。

また、Pilot Oneでは、外部GPSモジュールが必要であったが、Pilot One EEでは、高精度のGPSモジュールが内蔵されている。写真モードとGoogleストリートビュー モードには、 GPS 情報が付加される。カメラが GPS を検出できる屋外のオープンスペースで使用することが前提である。

内部にはAndroid OSが搭載されていて、「カメラ」、「ギャラリー」、「ライブ」の3つのアプリが実装されている。設定、撮影、ステッチ、閲覧、画像処理、バーチャルツアー作成、GoogleドライブやDropbox等のクラウドへのアップロード、SNSへのシェアまで、一連の作業をカメラ単独でおこなうことができる。

ギャラリーメニューでは、様々なビューモード（投影法）で画像や映像を表示させることができ、再生ビューで画面をダブルタップするか、右上のアイコンをタップするとビューモードが切り替わる。ビューモードには、リトルプラネット、エクイレクタングラー、魚眼、レクトリニアがある。プロのフォトグラファー向けには、プロフェッショナルモードが用意されており、写真やビデオを撮影する際に、露光時間、ISO、EV、WB、ステッチング焦点距離のパラメータを調整することができる。プレビューの右上にProボタンがあり、ON/OFFを切り替えて操作する。

ステッチング焦点距離（ステッチが成立する距離）は、ライブステッチ動画（リアルタイムステッチ）の場合、2mから無限遠まで任意に選択できる。静止画とアンステッチ動画（後処理のカメラ内ステッチ）では、オプティカルフローの精度の高いステッチ処理が可能となっている。2022年8月の最新のアップデート（V5.18.9）では、画面表示のほとんどが日本語に対応した。

Pilot One EEは、イーサネット、WiFi、LTE等の複数のネットワークをサポートしている。また、カメラ内の設定からWi-Fiのホットスポットを設けて、他のPilotシリーズと共用のモバイルデバイス用のアプリ「Pilot GO」（iOS/Android）からリモートコントロールすることもできる。その場合のUIは、カメラのタッチディスプレイ上とほぼ同様だ。

オーディオ機能は、モノラル録音/AACで、外部マイク端子も備わっている。GPSを内蔵しており、画像や映像に正確な位置情報を記録することができる。

ストレージは128GBと512GBを内蔵する2種のモデルがあり、RAMは6GB LPDDR4である。内蔵バッテリーは、連続で3.5時間以上動作する。Pilot Oneで内蔵されていたファンはPilot One EEでは取り除かれており、長時間の撮影や高音の環境下では、付属の物理冷却用のヒートシンクを取り付けて使用する（EEにも設定メニューの「エナジー節約」にファンのオン/オフの切り替えの名残が残っているが、それは無視して良い）。筆者が4K画質優先の動画撮影モードで60分ほど撮影を続けてみたところ、筐体の最も温度の高い箇所で42.5℃程度になったが、ヒートシンクを取り付けることで、40℃以下に下がったことを確認した。

動画性能

動画の最大解像度は8Kであり、リアルタイムステッチのライブステッチ動画とカメラ内での後処理ステッチが可能なアンステッチ動画では、使用できるフレームレートが異なる。アンステッチ動画は、撮影後にギャラリーでステッチ処理を行うことになり、より精度の高いステッチ結果が得られる。解像度とフレームレートの関係は、以下の通りだ。

ライブステッチ動画（リアルタイムステッチ）

アンステッチ動画（カメラ内ステッチ）

フォーマットはMP4、コーディング形式は、H.265/H.264となっている。

移動撮影時には、「PilotSteady」という同社の手ブレ補正機能を利用して、手ブレを低減することができる。PilotSteadyには、Fixed（固定）とFollows Camera（カメラに追従）が用意されており、Fixedを選択するとカメラの回転や移動に関係なく、常に写真の向きが固定され、Follows Cameraを選択するとカメラの動きに合わせて写真の向きが変わる。

静止画性能

写真の解像度は、以下の通りである。

フォーマットはJPG。輝度差の高い場面では、3段階露出をバラしてブラケティング撮影した画像をカメラ内で合成処理するHDRモードが利用できる。また、時間差の2回の撮影と合成により撮影者の写り込みを避けるフォトグラファー隠蔽モードが用意されており、不動産やランドスケープの撮影時に有用だ。

撮影後は、ギャラリーから写真を選択し、「写真の調整」（ベータ版）機能を利用して、カメラ内で直接、輝度や明部暗部等の簡易的な画像調整を実施できる。

　 　　

　 　　

　 　　

　 　　

タイムラプス動画

タイムラプス撮影の設定項目は、解像度、カウントダウン、スケールレート、PilotSteadyがある。最大解像度は8Kである。スケールレートの選択により、10倍、20倍、50倍、100倍、200倍、500倍、1000倍、2000倍、5000倍、10000倍の10種類の速度のタイムラプス動画を作成することができる。

ライブ配信

ライブ配信で使用できる解像度とフレームレートは、以下の通りである。

プロトコルは、RTMP/RTSP/SRTが利用できる。Pilot One EEに搭載されたLiveアプリでは、YouTube、カスタムサーバー、LANでのセルフストリーミング等の複数のプラットフォームにおける360°ライブストリーミングが可能だ。Labpanoの提供するPilotLive 8Kは、自社開発の圧縮技術を使用したクラウドステッチなしの8KVRライブストリーミングである。PilotLive 8Kライブ配信のプロトコルは、LabpanoとPicoが共同で開発したもので、現在市場に出回っている端末表示デバイスが 8Kをハードデコードするものが殆どないという問題点を解決するものだ。PilotLive 8Kのライブストリーミングプロトコルと同社の提供するPiPlayerを使用すると、PCとPicoおよびSkyworth シリーズのVR ヘッドセットで 8Kライブ ストリーミングを表示できる。Oculusヘッドセット用のAPKも用意されているという。

ただし、日本国内での8Kライブ配信は、現状では、エンタープライズ向けの一部サービスを利用するのが現実的だろう。

Googleストリートビュー動画

Googleストリートビュー動画のモードでは、GPSデータ付きのリアルタイムステッチングビデオの撮影を行う。フレームレートは、7fps、2fps、1fpsから選択して設定することができる。Pilot ONE EEから、Googleストリートビューのプラットフォームに撮影済みの動画ファイルを、直接、アップロードすることで、ストリートビューを公開することが可能となる。

Pilot Tour

Pilot Tourは、現在、ベータ版であるが、カメラ内で撮影をしながら、同時にバーチャルツアーを作成するモードだ。

撮影前には、周囲の明るさと環境を確認する必要がある。暗い場所や開けた場所、周囲のディテールが単調な環境では、測位の精度が落ちるためである。

Pilot Tourの撮影には、三脚を使用することが推奨されている。ツアー名やカメラの高さを入力した後に、プログラムが周囲の環境を認識して、位置を計算するためのツアーキャリブレーションを実行する。

キャリブレーションの後、Pilot Tourはカメラの位置を追跡し続けて、プレビューにはリアルタイムのパスが描画される。カメラを次の位置に移動しながら、撮影を継続していく。撮影が終了したら、カメラからPanolabの専用サーバーに直接アップロードすることにより、クラウド上でバーチャルツアーが自動的に生成される。PilotTourファイルがアップロードされると、公式サイトやPilot Goアプリで、PilotTourを閲覧することができる。

まとめ

Pilot Oneは、撮影から後処理、共有まで、パソコンを使用せずとも、すべてのワークフローをカメラ内で完結できる画期的な360°カメラだ。動画のフレームレートやダイナミックレンジを鑑みると、クリエイター向けというより、速報性が重要とされる報道の場面や、じっくり後処理をおこなう暇がない業務での使用において、高いアドバンテージがあると思われる。同社の手ブレ補正機能のPilotSteadyは、リアルタイムステッチング動画、アンステッチング動画のみならず、タイムラプス（ハイパーラプス）やライブストリーミングにも対応している点も心強い。

また、GPSを内蔵しているため、撮影したすべての画像や映像に正確な位置情報を付加できるので、Googleストリートビューなどのマップへの利用はもちろんのこと、道路や鉄道のトンネル等の設備、河川、公共施設のインフラの保守・管理、老朽化した施設の空間の検査にも活用できる。8Kの画像や映像は、道路上の標識や看板の表示を捉えることができるだろう。

そして、Pilot One EEは、APIを公開しているので、開発したアプリをカメラに統合することで、独自のシステムを使って、より適切に機能させることができる。例えば、カメラをLidarやその他のマッピングデバイスと組み合わせるなどの利用方法が考えられる。

このようなカメラをリモートによる現地調査や検査、セキュリティに利用すれば、移動や出張の経費を節減することができるだろう。Pilot Tourの機能を使用することで、観光や不動産、建築現場で手軽にバーチャルツアーを作成し、その場で素早く処理することも可能だ。デジタルツイン時代に相応しい次世代のVR撮影のワークフローを実感させるカメラシステムである。Labpanoからは、まもなく新製品も発表されるので、実機を入手次第、検証をおこなう予定だ。

国内販売代理店である有限会社リビングCGでは、Pilot One EEのストレージ512GBのタイプを取り扱っており、希望小売価格、税込236,500円で販売されている。