動画理解AIは「検索」から「理解」、そして「編集」の時代へ。Moments Lab、TwelveLabs、Digital Nirvanaが示した放送AIの次のステージ

NAB2026で見たコンテンツ制作のワークフローにおけるAIの活用事例

NAB2026 PRONEWS TECH TOURでは、コンテンツ制作のワークフローにおけるAIの活用事例をテーマのひとつとしてブースツアーが設計された。本稿ではAIによる動画解析技術が編集やMAMによる検索などにどのように活用できるのかについて、ツアーで訪問した3つのベンダーについて報告する。

これまでの動画解析AIは、音声を文字に起こす、顔やロゴを検出する、映像にタグを付けるといった「メタデータ生成」が中心だった。しかし今回の展示では、自然文で目的の場面を探し、前後の文脈や登場人物の感情を捉え、さらに選んだ素材からラフカットを組み立てるところまで、AIの担当範囲が広がっている。

言い換えれば、映像を人間が検索しやすい形に整理するAIから、映像の意味を理解し、制作意図に応じて次の作業を提案するAIへの移行である。検索結果を返すだけでなく、ストーリーの候補やタイムラインを提示する機能が現実の製品として登場し始めた。

今回取材したのは、Moments Lab、TwelveLabs、Digital Nirvanaの3社である。いずれも動画の内容を理解し、検索や制作に役立てる技術を扱っているが、製品の設計思想は同じではない。Moments Labは、映像そのものをベクトル化し、感情や文脈を含む「意味」を検索対象にしようとしている。TwelveLabsは、動画基盤モデルをAPIとして提供しながら、そのモデルを統合したAIエージェントによって検索から編集へ踏み込んでいる。Digital Nirvanaは、既存のMAMと制作環境を横断するAIレイヤーとして、放送局の日常運用に動画理解を組み込もうとしている。

3社のデモと質疑応答を通して見えてきたのは、単なる認識精度の競争ではない。AIが映像資産の価値をどこまで引き出し、既存の放送・制作ワークフローのどこを引き受けるのか。その競争がすでに始まっているということだった。

Moments Lab―映像をベクトル化し、意味と感情を検索する

Moments Labはフランス・パリを拠点とする AIスタートアップである。2016年に双子の兄弟であるPhil Petitpont氏とFred Petitpont氏が「Newsbridge」として創業し、2024年に現在の社名へ変更した。放送局やスポーツ団体、コンテンツホルダー向けに、独自のマルチモーダルAI「MXT」を活用した動画理解・検索基盤を提供し、近年はエージェント型AIによる映像活用へと事業領域を拡大している。

Moments Labは、自社のサービスを「Video Discovery Platform」であると説明する。APAC担当のSophia Schenone氏とソリューションアーキテクトのMark Habberfield氏によるデモは、膨大な映像ライブラリーから必要な「Moment」を発見し、それを制作や配信へつなげる一連の流れを見せるものだった。

デモでは、番組「The Masked Singer」の素材が使われた。検索対象となったのは「Toastie」というキャラクターである。キャラクター名を入力すると、登場する場面が抽出され、選んだ素材をプロジェクトに追加できる。さらに、Adobe Premiere Pro、Avid Media Composer、DaVinci Resolveなどの編集環境へ渡す流れが紹介された。

検索して終わるのではなく、その先の作業までつなげている点が重要である。Studio機能では、16:9の映像を9:16へ変換する自動リフレーミングや、キャプション生成を実行できる。長尺番組から必要な場面を見つけ、縦型の短尺動画に整え、ソーシャル向けコンテンツへ転用するところまでを一つの環境で扱う構成である。

Moments Labの公式説明でも、同社のマルチモーダルAI「MXT」は、一般的な物体タグや文字起こしにとどまらず、番組の登場人物、リアクション、オチ、クリフハンガーなど、作品固有の編集上の意味をインデックス化するとしている。Discovery Agentには、同僚へ依頼するように自然文で問いかけ、複数シーズン、複数番組をまたいで必要な場面を探させることができる。

「他社はテキスト化する。私たちは動画をベクター化する」

同社の技術的な立ち位置が明確になったのは、競合との違いを尋ねた場面だった。Mark Habberfield氏は次のように説明した。

動画解析の一般的な方法では、音声認識、OCR、画像認識などで映像をテキストやタグに変換し、その文字列を検索する。これに対してMoments Labが強調したのは、動画の特徴を数値表現であるベクトルへ変換し、ベクターデータベースに格納するアプローチである。検索語と映像を意味空間上で照合するため、映像内に明示的なキーワードがなくても、内容の近い場面を探せるという説明だった。

感情も「検索できる情報」にする

その具体例として示されたのが、感情と人間関係の理解である。説明では、同じ「男性が泣いている」場面でも、喜びによる涙なのか、悲しみによる涙なのかを区別できるとした。

これは、感情を固定的なタグとして一つ付けるというより、表情、行動、会話、前後関係など複数のモダリティーを組み合わせ、場面の意味を検索可能な表現へ変える考え方と捉えるべきだろう。実際の精度はコンテンツの種類や学習条件によって検証する必要があるが、「泣いている人物」という視覚的事実から、「なぜ泣いているのか」という文脈へ踏み込もうとしている点は、従来型のメタデータ生成との違いを示している。

こうした意味検索は、ドラマやリアリティー番組だけでなく、ニュースやドキュメンタリーのアーカイブにも有効である。例えば「緊張した表情で質問に答える政治家」「再会を喜ぶ家族」「不安を抱えながら避難する住民」のように、従来のキーワードだけでは拾いにくかった場面を探せる可能性がある。

日本の放送現場から出た具体的な問い

質疑応答では、日本の放送運用に即した質問も出た。選挙期間中に候補者のポスターが映り込んだ場面や、番組スポンサーではない企業のロゴ、自動販売機などを検出できるか、というものだ。選挙ポスターなど、映り込んではいけないものを見つけたい場合があるし、民放の場合提供を受けていない会社の自動販売機が映っているシーンは避けたい場合がある。

Moments Lab側は、「Custom Moments」を用いて、政治家、政党、ブランドなど、利用者固有の対象を定義し、ショット単位でタグ付けする方法を説明した。汎用モデルが最初から日本のすべての候補者や商品を知っているわけではないが、放送局側が必要とする対象をカスタムの認識項目として追加し、確認や除外の作業を支援する考え方である。

ただし、日本語対応は取材時点で開発途上だった。UIは英語とフランス語で、日本語コンテンツの認識もまだ正式対応していないとの説明だった。一方で、具体的な需要があれば、日本語コンテンツ認識やUIのローカライズは「3カ月から6カ月程度で対応可能」としている。日本市場での販売体制もこれからであり、技術的な可能性と商用展開の準備状況は分けて見る必要がある。

アーカイブを「保管物」から制作資産へ

Moments Labが繰り返し訴えたのは、放送局が保有するアーカイブの再活用である。ハリケーン報道を例に、現在の災害と過去の災害を比較する素材を探し、関連クリップとナラティブ構成を提案する使い方が紹介された。

この発言は、同社の価値提案を端的に表している。AIが置き換えようとしているのは編集者の判断そのものではなく、素材の存在を把握し、候補を集めるまでに費やしてきた時間である。映像の意味と感情をインデックス化できれば、アーカイブは保存コストのかかる保管物から、新しい番組や短尺コンテンツを生み出す制作資産へ変わる。

TwelveLabs―動画基盤モデルが検索からラフカットへ進む

TwelveLabsは韓国出身の創業メンバーによって2020年に設立され、現在は米国サンフランシスコと韓国・ソウルを拠点に事業を展開する動画理解AI企業である。テキストではなく動画そのものを学習対象とした「Video Foundation Model」の先駆者として知られている。またNVIDIAやNEAなどの出資も受け、AWSの動画AIサービスにも技術を提供している。

TwelveLabsの説明は、二つの動画基盤モデルから始まった。検索を担う「Marengo」と、動画の内容を言語化し、分析する「Pegasus」である。公式情報によれば、Marengoは映像フレームと時間的な関係、音声、環境音などを扱い、テキスト、画像、音声、動画を埋め込み表現へ変換する。Pegasusは視覚、音声、会話を統合し、動画の説明、要約、質問応答などのテキストを生成するビデオ言語モデルである。

デモで最初に示されたのは、Marengoによる自然文検索だった。「野球場で人々が歓声を上げている場面」といった検索例である。

検索結果は動画ファイル単位ではなく、条件に合う具体的な時間位置として返される。続いて、テキストと画像を組み合わせる検索も行われた。メルセデス・ベンツの画像に「森の中を走っている」という条件を加え、視覚的な対象と状況の両方を指定して該当場面を探す。

この検索方法は、商品名が発話されていない場面や、メタデータに車種名が入っていない素材にも有効である。既知の人物やロゴに限らず、新人選手や組織固有の対象についても、参照画像を登録して検索対象にできると説明した。

Marengoが「探し」、Pegasusが「説明する」

Marengoが大規模なライブラリーから関連場面を見つけるモデルであるのに対し、Pegasusは個々の動画を理解し、その内容を構造化する。デモでは、ニュース映像からヘッドライン、話題、人物、場所、ムードなどを抽出し、人手によるタグ付けを減らす例が紹介された。

　 　　

さらにPegasusの用途として、コンプライアンスチェックも示された。音声、画面内の文字、映像表現を横断して、不適切な言葉、武器、喫煙などの候補を検出し、該当時間と確信度を表示する。Pegasusはコンプライアンス上の問題について、AIがどの程度確信しているかをHigh、Medium、Lowで示す。これによってどの場面でコンプライアンス違反の可能性があるのかを確認できる。

デモでは、不適切な表現が含まれる時間帯や、たばこが映る場面が例示された。重要なのは、AIが最終的な放送可否を決定するのではなく、人間が確認すべき候補と根拠となる時間位置を提示する点である。国やプラットフォームによって基準が異なるため、ルールをカスタマイズし、レビュー工程を効率化する用途が現実的である。

二つのモデルを制作ツールへ統合したRodeo

TwelveLabsがNAB2026で強く打ち出していたのが、MarengoとPegasusを組み合わせた「Rodeo」である。基盤モデルをAPIとして提供するだけでなく、それらを利用するAIエージェントを制作ワークフローへ持ち込む試みである。

説明では、全20話、合計30～40時間に及ぶ大河ドラマを例に、そこから2分の予告編を作る作業が示された。

たとえば20話のドラマがあり、素材は全体で30時間、40時間となるが、その中から2分の予告編を作りたい、という依頼をRodeoに与える。Rodeoは指示を受けると、関連する場面を選び、タイムライン上に配置してラフカットを提示する。利用者はクリップの順序をドラッグ＆ドロップで入れ替え、イン点とアウト点を調整し、気に入らないショットを別候補へ置き換えられる。16:9、9:16、1:1などアスペクト比も指定でき、結果は編集ソフトへ渡せる。

TwelveLabsのChief Strategy OfficerのYoon Kim氏は、Rodeoの位置付けを明確にした。

AIが完成品を自動生成するということではなく、編集者が素材を確認して構成を考える前工程を短縮し、最終判断と仕上げは人間と既存のNLEに残す考え方だ。

ドラマの重要場面を何に基づいて選ぶのか

スポーツであれば、得点、ファウル、セレブレーションなど、ハイライト候補となる出来事を比較的明確に定義できる。一方、ドラマの予告編では、単に動きの大きな場面を集めても物語にならない。そこで私たちは、Rodeoがどのようなロジックでドラマの場面を選ぶのかを質問した。これに対してKim氏は次のように答えた。

Kim氏によれば、編集者に明確な構成案がある場合は、「冒頭の6秒はこの場面」といった指示をプロンプトで加えることもできるという。

ドラマ素材から人物関係、因果、時間の流れをどの程度正確に捉えられるかは、ジャンル、尺、言語、素材品質によって変わる。それでも、Rodeoが実現するラフカットは、基盤モデルの出力が検索結果や要約にとどまらず、動画理解の成果物が、メタデータから制作上の提案へ変わったということであり、編集可能なタイムラインとして提示されることには大きな意味があると思われる。

MarengoとPegasusはAPIとしても提供され、AWS環境から利用できることも強調された。つまりTwelveLabsの戦略は、モデルを部品として企業システムへ組み込むB2B基盤と、そのモデルが制作現場で何を可能にするかを示すアプリケーションの両輪にある。Rodeoは、その可能性を編集者に見える形へ変換するショーケースでもある。

Digital Nirvana―MAMを横断するAIレイヤーと放送運用

Digital Nirvanaは、米国カリフォルニア州に本社を置き、1995年創業という約30年の歴史を持つメディアテクノロジー企業である。放送局向けのモニタリングやコンプライアンス管理、キャプション、メディア資産管理（MAM）分野で実績を築いてきた。近年はAIを活用した「Media Services IQ」を展開し、既存MAMと連携しながら動画理解や意味検索、ラフカット生成を実現する「AIレイヤー」として進化を進めている。

こうした会社の経歴を反映して、Digital Nirvanaのデモは3社の中で最も既存の放送システムとの接続を意識したものだった。紹介された「MediaServicesIQ」は、映像を取り込み、音声認識、フレーム検出、顔認識など複数のAI処理を重ね、シーン説明、トランスクリプト、人物情報、要約といったメタデータを生成する。

Digital NirvanaのDirector of Business DevelopmentのRussell Vijayan氏は処理の考え方を次のように説明した。

デモには日本語コンテンツも登録されており、40言語に対応すると説明した。映像の特定位置に人物やプラカードが現れる場面を見つけるほか、「ドナルド・トランプが真剣な表情をしている場面」といった、人物名と表情を組み合わせたセマンティック検索も披露された。

顔認識を利用した検索例として、Vijayan氏はNFLのクォーターバック、ジョーダン・ラブを検索する例を挙げた。

人物を特定するだけでなく、その人物が誰と、どのような状況にいるのかまで条件に含めて該当ショットを探す例である。スポーツアーカイブであれば、選手名に加えて、得点後の祝福、観客との交流、記者会見などの文脈を指定し、再利用したい場面へ直接到達する用途が想定できる。

同社は、テキストを中心に学習した汎用LLMをそのまま使うのではなく、動画向けに学習したモデルを用いていると説明している。ただし「動画特化」であること自体が精度を保証するわけではない。放送局が導入を検討する際は、日本語音声、画面内文字、固有名詞、ニュース映像、スポーツなど、自社素材を使った検証が不可欠である。

「これはMAMではない」

Digital Nirvanaの立ち位置を端的に示したのが、MAMとの関係についての説明である。

デモではAvidとGrass Valleyの環境が紹介された。利用者は普段使うMAMの画面からAIが生成したメタデータを参照し、検索結果の該当位置へ移動できる。AIのために新しい資産管理システムへ全面移行するのではなく、既存MAMの上に動画理解機能を追加する構成である。

この設計は、長期運用を前提とする放送局にとって現実的である。MAMの更新は、ストレージ、権限、プロキシー、NLE連携、アーカイブ移行などを伴う大規模プロジェクトになりやすいからである。AIレイヤーと生成メタデータをMAMから分離できれば、基幹システムを更新しても、解析によって蓄積した知識を持ち越しやすくなる。

コンプライアンスを「後から探す」だけでなく「常時確認する」

Digital Nirvanaはもともと、放送監視とコンプライアンス運用に強みを持つ企業である。同社のMonitorIQは、SDIの制作系統からOTTやセットトップボックスでの視聴段階まで、配信経路上のコンテンツを記録、保存、監視し、規制対応、放送実績、広告確認などに利用するコンプライアンスロギング製品である。

今回のMediaServicesIQのデモは、MonitorIQそのものの紹介ではなかった。しかし、シーン説明、音声認識、顔認識、意味検索によって「確認すべき箇所を短時間で探す」機能は、同社が蓄積してきたコンプライアンス運用と親和性がある。

例えば、問題となり得る発言、特定人物、企業ロゴ、議論を招く可能性のあるプラカードなどをメタデータ化し、該当時間へ直接移動できれば、長時間の映像を最初から目視する負担を減らせる。一方、規制や広告基準の判定は文脈に依存するため、AIの検出結果は警告やレビュー候補として扱い、最終判断は担当者が行う必要がある。

Digital Nirvanaの特徴は、こうしたAI機能を独立した実験環境に置かず、放送局が日常的に使う記録、監視、MAM検索、クリップ作成の流れへ接続しようとしている点にある。

800クリップからラフカットを構成

同社からも、検索の次の段階として「RoughCut」が紹介された。デモ環境には約800のクリップが登録されており、テキストで映像のテーマと長さを指示すると、条件に合うクリップを探してタイムラインへ並べる。

例として、「人々の会話を中心に、家族の大切さをテーマとする3分の映像」を作る指示が示された。生成されたタイムラインに対し、チャットで「このクリップは残す」「別の雰囲気の映像へ変える」といった修正を加え、候補を差し替える。全体のタイムラインとクリップに納得できたら、Premiere Pro、DaVinci Resolve、Final Cut、Avidなどへ書き出すことができる。RoughCutはクラウドとオンプレミスの双方に対応すると説明しており、既存インフラやセキュリティーポリシーに合わせた構成を想定している。

Digital NirvanaのRoughCutは、TwelveLabsのRodeoと表面的には似ている。ただし、取材で強調された価値は異なる. Rodeoが動画基盤モデルのストーリー理解を前面に出したのに対し、Digital NirvanaはMAM内外の素材を横断して見つけ、日常の制作環境へ戻す統合性を重視する。ここにも、同じ「動画理解AI」でありながら異なる出発点が表れている。

動画理解AIは、放送ワークフローのどこを変えるのか

3社の展示を並べると、動画解析AIが一つの技術カテゴリーでは説明しにくくなっていることが分かる。自然文検索、シーン説明、顔認識、要約、コンプライアンス支援、ラフカット生成と、対象となる業務が広がっているためである。

一方で、その進化は「検索」「理解」「編集」という三つの段階に整理できる。

第一段階は検索である。従来のMAM検索は、登録済みのタイトル、日付、人物名、キーワードなどに依存していた。メタデータが不足していれば、素材が存在していても見つけられない。3社はいずれも、自然文や画像を使って、映像内の具体的な時間位置を探せるようにしている。

第二段階は理解である。ここでは、物体や人物の有無だけでなく、何が起き、どのような意味を持つ場面なのかが対象になる。Moments Labは、動画をベクトル化し、喜びと悲しみ、人物間の関係性まで検索可能にする構想を示した。TwelveLabsのPegasusは、視覚、音声、会話を統合して説明や要約を生成する. Digital Nirvanaは、音声認識、フレーム検出、顔認識などをまとめ、前後の文脈を含むメタデータへ変換する。

第三段階が編集である。理解した映像から目的に合う場面を選び、順序と長さを持ったタイムラインとして提案する。ここでAIの役割は、検索ツールから制作支援者へ変わる。

3社が競っている「土俵」は同じではない

一見すると、3社は同じ市場で競う動画検索AIに見える。しかし、実際に重点を置く場所は異なる。

Moments Labの中心は、番組やアーカイブの編集上の意味を捉え、必要なMomentを発見することである。人物、リアクション、感情、物語上の転換点など、制作者が素材を選ぶ際の言葉に近いメタデータを作ろうとしている。検索から短尺化、リフレーミング、字幕、共有までをつなぎ、コンテンツ再利用の速度を上げるアプローチである。

TwelveLabsの中心は、MarengoとPegasusという動画基盤モデルである。検索、要約、分類、コンプライアンス、ストーリー理解などの能力をAPIとして外部へ提供しながら、Rodeoによって「モデルを組み合わせると制作工程をどこまで自動化できるか」を示している。企業はモデルを自社サービスへ組み込むことも、統合アプリケーションとして利用することもできる。

Digital Nirvanaの中心は、放送局の既存運用である。MAMを置き換えるのではなく、その上にAIレイヤーを載せ、生成したメタデータをシステム変更後も資産として残す考え方である。さらに、同社が手掛けてきたコンプライアンスロギングや放送監視と結び付けることで、AIを単発の制作ツールではなく、日常業務の基盤へ組み込む。

したがって、導入時に問うべきなのは「どのAIが最も賢いか」だけではない。解決したい課題が、アーカイブの再利用なのか、独自サービスへ組み込む動画理解基盤なのか、既存MAMとコンプライアンス運用の高度化なのかを先に定める必要がある。

　 　　

AIを導入するのではなく、AIを前提に工程を設計する

今回の取材で最も大きな変化を感じたのは、AIが既存機能の追加オプションではなく、映像資産と人間の間に常設される層になり始めたということである。

素材が収録・保存された時点で、音声、人物、場所、物体、感情、出来事、権利やコンプライアンス上の注意点を解析する。制作者は、その結果を自然文で検索し、AIへ構成案を依頼する。AIが作ったセレクトやタイムラインをNLEへ渡し、編集者が取捨選択して仕上げる。この流れが定着すれば、MAMはファイルの所在を管理するだけのシステムではなく、組織が持つ映像ライブラリーにアクセスする入口になる。

同時に、良い結果を得るためには、放送局側にも新しい設計が求められるだろう。何をメタデータ化するのか、どのモデルを使うのか、修正を誰が管理するのか、AIの提案をどこまで自動処理へ進めるのか。技術を導入するだけでなく、AIが存在することを前提に役割と責任を組み直す必要がある。

Moments Labが示したのは、映像の意味や感情を検索可能な知識へ変える方向である。TwelveLabsが示したのは、動画基盤モデルが素材の発見からストーリー提案へ進む方向である。Digital Nirvanaが示したのは、その知能を既存MAM、コンプライアンス、編集環境へ定着させる方向である。

動画理解AIは、すでに「映像を探すための便利な検索窓」だけではない。大量の映像を理解し、確認すべき箇所を示し、制作の最初の形をつくる存在になりつつある。人間がすべての映像を見てから考える時代から、AIが全体を読み、人間が問い、選び、責任を持って仕上げる時代へ。NAB2026の3社の展示は、その移行が構想ではなく、具体的な製品とワークフローとして始まっていることを示していた。

なお、今回紹介した3社はIBC2026でもブース出展を予定している。