Inter BEE 2026のナックイメージテクノロジーブース(ホール4・小間番号4512)では、バーチャルプロダクション関連システムの展示に加え、iPhoneを活用したユニークな実演が行われていた。

その中心となっていたのが、アーザス株式会社(arethus)が開発するiPhone用カメラトラッキングアプリ「PocketTracker」だ。iPhoneで映像を撮影しながら、カメラの位置や向きといったトラッキング情報も同時に出力する。Mac用アプリ「PreviewLab」と組み合わせれば、実写映像と3DCGを重ね合わせたAR映像を手軽に制作できる。

PocketTrackerとPreviewLabによるAR合成の実演
PocketTrackerとPreviewLabによるAR合成の実演。iPhoneで捉えた会場の映像に3Dモデルを重ね合わせ、大型モニターとMacBook Airに合成結果を表示していた。
ナックイメージテクノロジーブースのPocketTracker実演コーナー
ナックイメージテクノロジーブースの実演風景。グリーンバックを備えたバーチャルプロダクション展示の隣で、iPhoneを手持ちで操作し、カメラの動きに連動するAR映像を紹介していた。

iPhoneがカメラとトラッカーを兼ねる「PocketTracker」

通常、バーチャルプロダクションでは、実写カメラの位置や向きを検出するためのトラッキングシステムを別途組み合わせる。PocketTrackerでは、その役割をiPhone自身が担う。

PocketTrackerを使用するiPhoneの撮影リグと原点設定用マーカー
PocketTrackerの実演用に組まれたiPhoneの撮影リグ。背面には冷却ファンを装着し、USB接続による有線ネットワークを利用する。奥にはワンタップでトラッキングの原点を設定するためのマーカー、左にはアプリの紹介資料が置かれていた。

仕組みは明快だ。iPhoneで撮影した映像をNDIで出力するとともに、カメラの3D位置情報や向きをFreeDプロトコルで送信する。受信側では、映像とトラッキング情報を使って、カメラの動きに合わせたCG合成を行う。

会場で実演されていた原点設定も興味深い。床に置いた印刷済みのマーカーをiPhoneのカメラで捉え、画面をワンタップするだけで、その場所を座標の原点に設定できる。原点を設定した後は、画面に床面を示すグリッドや原点の位置に加え、座標、カメラの向き、FOV(画角)などの情報がリアルタイムで表示される。

実際にiPhoneを動かしてみると、カメラトラッキングという技術が直感的に理解できる。前後に動けば座標が変化し、上下左右に向きを変えればカメラの角度が変わる。専門的な数値として扱われがちなトラッキング情報が、手元の動きと直接結び付く体験だ。

PocketTrackerを使用してiPhoneを動かす実演
iPhoneを搭載したリグを持ち上げ、カメラの位置や向きを変える実演。手持ちで自由に移動しながら撮影できるため、低い位置から見上げたり、CGの被写体に近づいたりと、多様なカメラワークを試せる。

映像とトラッキング情報は、有線LANを介して外部のシステムへ送信できる。会場ではUSB接続のアダプターを利用し、iPhoneとMacBook Airをネットワークで接続していた。

NDIとFreeDという、映像制作で広く使われる規格を採用している点も重要だ。会場ではPreviewLabを使った実演が中心だったが、取材ではUnreal EngineやAximmetryとの接続についても説明があった。専用アプリでの体験にとどまらず、既存の映像制作システムの一部として利用する方向性も見えてくる。

火星探査車や恐竜の骨格を自由な角度から撮影。PreviewLabで体験するAR映像

PocketTrackerと組み合わせて使うのが、Mac用アプリ「PreviewLab」だ。

PreviewLabのAR合成画面と3Dモデル操作インターフェース
Mac用AR合成アプリ「PreviewLab」の操作画面。iPhoneの実写映像に火星探査ローバーの3Dモデルを重ね合わせている。画面右側ではモデルの位置や回転、スケールなどを調整でき、下部にはFreeDの受信情報やNDIの状態を表示する。

PreviewLabは、iPhoneから送られてくるNDI映像とFreeDのトラッキング情報を受信し、実写映像に3Dモデルを重ね合わせるAR合成アプリだ。USDZ形式の3Dモデルに対応し、iPhoneを動かしても、CGがその場に存在しているかのような映像を制作できる。3Dモデルの位置や大きさのほか、環境光や影の表現も調整できる。

会場では、火星探査ローバー、トリケラトプスの骨格、宇宙ステーションなどの3Dモデルが登場した。例えば、ローバーのCGを空間内に配置し、iPhoneを持って周囲を移動すると、正面から見ていたローバーを横から眺めたり、近づいて細部を確認したりできる。カメラを動かしても実写の背景とCGの位置関係が保たれ、まるでその場所に実物が置かれているように見える。

特に面白かったのは、iPhoneならではの取り回しのよさだ。カメラを低い位置に下げて見上げたり、被写体のすぐ近くまで寄せたりできる。大型の撮影機材を動かすことを考えると、片手でカメラ位置を変えられる自由さは、この仕組みならではの魅力だ。

使用されていたMacは、Apple M4チップを搭載したMacBook Air。iPhoneで撮影し、MacでCGを合成して外部モニターに出力するというシンプルな構成で、カメラの動きに追従するAR映像を実現している点が印象的だ。

PreviewLabで宇宙ステーションのCGを合成したAR映像
宇宙ステーションの3Dモデルを会場の実写映像に重ね合わせたAR合成の実演。大型モニターとMacBook Airの画面に合成映像を表示し、iPhoneのカメラ位置を変えることで、宇宙ステーションをさまざまな角度から観察できる様子を紹介していた。

バーチャルプロダクションの入口を身近に。2027年リリース予定でベータ版参加者を募集

PocketTrackerとPreviewLabの組み合わせは、バーチャルプロダクションを学ぶ環境としても興味深い。カメラの座標や向き、FOVといった情報を確認しながらiPhoneを動かすと、その結果がすぐに合成映像へ反映されるため、技術的な仕組みと映像表現を一緒に学べる。

小規模な映像制作やライブ配信でも活用が考えられる。手持ちのiPhoneをサブカメラとして使い、実写映像にCGを組み合わせたり、通常のカメラでは入りにくい位置から撮影したりする用途だ。博物館や教育施設の展示コンテンツにも向いており、恐竜の骨格や宇宙ステーションをCGで配置すれば、説明者がiPhoneを持って歩きながら、展示物をさまざまな角度から紹介する映像を制作できる。

PocketTrackerとPreviewLabは現在開発中で、2027年のリリースを予定している。会場では無料のベータ版参加者を募集しており、展示資料のQRコードから申し込みを受け付けていた。

展示資料に記載された動作環境は、PocketTrackerがiOS 26以降のiPhone、PreviewLabがmacOS 27以降のMac。有線LAN接続を推奨し、NDI信号の受信にはNDI SDKのインストールが必要となる。なお、開発中の製品のため、正式リリースまでに仕様や機能が変更される場合がある。

身近なiPhoneとMacだけで、実写とCGが同じ空間に存在する映像を作り出せる。PocketTrackerは、カメラトラッキングの仕組みを身近にするとともに、撮影者が自分の動きで映像を組み立てる楽しさを感じさせる展示だった。