Smode Tech、「SMODE R15」公開。OpenTrackIO、Livegrade連携や生成AI機能を強化

R15の主要アップデート

OpenTrackIOをサポート

Virtual Production関連で注目したいのが、OpenTrackIOへの対応である。OpenTrackIOは、SMPTEのRIS-OSVPグループによって開発されたオープンソースのプロトコルで、カメラトラッキングやレンズ情報などをレンダリングシステムへ伝送し、Virtual Productionにおけるシステム間の相互運用性を高めることを目的としている。

R15ではOpenTrackIOをサポートし、カメラやレンズに関する情報、位置・姿勢、タイミングなどのデータをリアルタイムに取り込めるようになった。物理空間とバーチャル空間の同期精度を高め、インカメラVFXやセットエクステンションなど、カメラの動きと連動したVirtual Productionでの活用が想定されている。

Pomfort Livegradeとのリアルタイムカラー連携

撮影現場でのワークフローという点では、Pomfort Livegradeとの連携も追加された。ネットワーク上のLivegradeで行ったカラー調整をSMODEへリアルタイムに反映し、SMODE上のレイヤーへ適用できる。撮影現場でLivegradeによるカラー調整を行いながら、その結果をSMODE上のレイヤーへ反映できるため、Virtual Productionにおけるカラー管理ワークフローの効率化につながる。

StreamDiffusionの生成AI機能を強化

R15では、リアルタイム画像生成技術「StreamDiffusion」との統合も強化された。SMODEへ入力したカメラ映像やイラストなどをもとに、テキストプロンプトで指定したイメージをリアルタイムに反映できる。

例えば人物の映像に「fire dancing, realistic, burning man, skeleton」といったプロンプトを与えると、人物の姿や動きに追従しながら、指定したビジュアルを反映した生成映像を作り出せる。プロンプトはあらかじめ設定するだけでなく、現場で入力・変更することも可能である。

さらにR15ではControlNetを統合し、入力映像のポーズや輪郭、深度などの情報を利用しながら、生成結果をより細かくコントロールできるようになった。「StreamV2V」「Similar Image Filter」「TorchCompile」なども追加され、リアルタイム生成に関する機能が拡張された。StreamDiffusionのCUDA Tensorにおけるアルファチャンネルもサポートしている。

Alembic形式の3Dオブジェクトをインポート可能に

3Dコンテンツの取り扱いも拡張された。Alembic形式に対応し、Houdini、Cinema 4D、Blender、Mayaなどで作成したアニメーション付き3DジオメトリやGeometry CacheをSMODEへ直接読み込める。

外部の3DCGソフトウェアで制作した複雑なアニメーションや形状変化をSMODEのリアルタイムコンテンツへ持ち込めるため、映像制作やVirtual Productionにおける3Dワークフローの選択肢が広がる。

テキスト表現とレイアウト機能を強化

コンテンツ制作に関する機能では、テキスト表現も強化された。カーニング、スケール、スキュー、フォント調整、表示する文字数を制御するテキストマスク、垂直方向のアライメントなどに対応し、テキストを使ったレイアウトやアニメーションをより柔軟に制作できる。

さらにContent Mapおよび2D Scene Mappingでは、コンテンツを正確に配置するための「Canvas Guides」とスナップ機能を追加した。水平・垂直ルーラーからガイドを配置し、レイヤーやマッピング要素を吸着させることで、複数の映像やグラフィックを効率よく整列できる。細かな位置調整を目視だけに頼る必要がなくなり、複雑なレイアウトを構築する際の作業性が向上している。

日常的な操作性も改善

機能追加だけでなく、SMODEを日常的に使用する際の操作性にも手が入った。起動画面の「Quick Start Panel」が刷新され、最新機能やチュートリアル、プロジェクトなどへアクセスしやすくなった。

トップバーも刷新され、ワークスペースの切り替え、レンダリングやトランスコードなどのタスク、映像出力、操作・編集履歴などへ直接アクセスできるようになった。接続しているSMODEサーバー間の移動も改善されており、制作中に頻繁に使用する機能へのアクセスを集約することで、日常的なオペレーションの効率化を図っている。