stu、AIを用いた自動マスク生成技術「Scene Tracking Mask」を開発。ショートフィルム「トノムラ」に技術提供

株式会社stuは、AIを用いた独自の自動マスク生成技術「Scene Tracking Mask（以下、本技術）」を新たに開発し、映像作家の柿本ケンサクによる新作ショートフィルム「トノムラ」に技術提供を行った。

近年において、AIは幅広い分野での発展と実用化が期待されているが、stuではAI・機械学習の研究開発に取り組んでおり、映像制作のプロダクション行程のDX化や、AIを用いた新しい体験の提供などを目指している。その一環として、stuでは、映像制作のワークフロー効率化や表現の幅を拡げることを目的として、本技術を開発した。

映像編集のワークフローの中でも、特定の範囲を選択して範囲内の映像を編集する「マスク」の作成は時間と手間を要する作業である。映像では静止画に比べて、マスク生成を自動化することは技術的に難しい側面を持っていたが、近年では技術の進化により、映像内の人物を検出するAIによる自動マスク生成技術が実用化されている。

一方、人物以外の任意のオブジェクトに対するAIによる自動マスク生成技術は、映像制作のニーズに対応した高性能なものが普及していないという状況がある。stuでは、映像制作のワークフローを綿密に検証し、映像制作の現場におけるニーズに応えるAIマスク生成技術として本技術を開発した。

これにより、AIを活用して任意のオブジェクトに対して高性能なマスクを生成することが可能となった。

本技術を用いることで、映像内の任意のオブジェクトを選択し、誰でも簡単な操作でマスク範囲を選択することができる。

また、対象オブジェクトが動いている場合でもマスク範囲が追従し、これまで1フレームに対してマスクを選択していた作業を大幅に削減することができる。

さらに、AIを活用することで映像のシーン分割の自動化も実現。動画の変わり目を自動で検出して各シーンごとに分割することができるため、シーンの変わり目を探す作業を短縮することができる。

本技術を用いることで、人的リソースと作業時間を圧倒的に削減し、映像制作ワークフローの効率化および省人化に貢献する。映像作家の柿本ケンサク氏によるショートフィルム「トノムラ」においては、本技術を活用して作品の重要なモチーフとなるオブジェクトのマスク生成を行ったという。手作業でのマスク生成では時間とコストにより実現が極めて難しかったところ、実稼働2日間という短期間で達成。映像作家が思い描いた通りの表現を実現し、作品作りに貢献した。

映像制作ワークフローを自動化する効率化と共に、従来の方法では実現が難しかった新たな映像表現の可能性を拡げる。