230623_reportnow_sony_top

現在開発中のソフトウェアスイッチャーなどが展示されたソニーのメディアソリューション事業内見会

ソニーがメディアソリューション事業を紹介するイベントを開催した。すでにリリースされている製品が中心だが、参考展示のソフトウェアスイッチャーや国内初展示のメディアエッジプロセッサーなど、最新ソリューションも展示されていた。

基本的には映像制作事業者向けの内見会という位置づけのイベントだが、プレス向けにも公開されたのでその模様をお伝えする。

映像制作現場に向けてツールを拡充するソニー

同社のメディアソリューション事業は、作り手であるクリエーターに様々なツールを提供し、映像制作の幅を広げてもらうことを目的としている。さらに、そうしたコンテンツを、映画館、テレビ、車載、VR、スマートフォンといったあらゆる空間で楽しんでもらえるようなエンターテインメント空間をより拡張していくことも目指す。

「作る側と楽しむ側、双方を拡充していきたい」と話すのは、ソニーマーケティングのB2Bプロダクツ&ソリューション本部B2Bビジネス部統括部長の小貝肇氏。

230623_reportnow_sony_01
ソニーマーケティングの小貝肇氏

そうした観点から提供されている各種ソリューションが、「Networked Live」と「Creators’ Cloud」。Networked Liveは、従来「IP Live」というソリューションがあり、それを拡張したのがNetworked Liveで、放送局などのある場所にいる顧客の制作環境を全てIP上に構築するというもの。これまでSDIを使っていた場面をIPで構築することが特徴だ。

この中で、「VideoIPath」というネットワークコントローラー同士が連携する機能を新たに開発。今後は制作現場で拠点ごとにIP化が進み、その拠点全体をネットワークで結んで柔軟な制作が実現できることを目指しているそうだ。

230623_reportnow_sony_02
ソニーが提供する放送向けの各種ソリューション。映像制作ではオンプレ型のソリューションが一般的だったが、Creators’ Cloudではこれをクラウド化し、6つのサービスをSaaS型で提供するなど、様々なサービスを用意する

小貝氏は、「ソニーの(メディアソリューション事業の)開発の方向性は、ネットワーク、クラウド、5G、AIを活用して空間的、時間的な制約を取り除いていくこと」だと話した。

230623_reportnow_sony_03
ソニーが映像現場に提供するソリューションは、時間と空間の制約を取り除いていくことが目標

映像を1/200に圧縮しても劣化が見えない新コーデックでリモートプロダクションが可能に

ソニーの映像ソリューションを導入した事例として紹介されたのが、欧州のスポーツ局Warner Bros. Discovery。イギリスとオランダにデータセンターがあり、英仏伊など欧州20カ所の拠点にサブを設置。データセンターの機材を使用して番組を制作しているという。

230623_reportnow_sony_04
Warner Bros. Discoveryの例。仮想ネットワーク技術を採用している点などが目新しい

従来、放送局の中にスイッチャーなどん機材が設置されていたが、こういった機材は全てデータセンター内に置かれており、リモートプロダクションを実現しているそうだ。その代わり、複雑なネットワーク経路などの設定が必要だが、それを柔軟にコントロールできるのがVideoIPath。加えて、「仮想ネットワーク技術(SDN)」を活用しているのも特徴だという。

こうした放送局のネットワーク化に貢献する新たな技術としては、低遅延コーデックが紹介された。IP化、クラウド化が進むと、拠点間、拠点とクラウド間での映像信号のやりとりが増加する。そのたびに大容量データで時間をかけて転送することは時間のロスが大きい。そこで開発されたのが低遅延コーデック。すでにNABで公開されているが、9月の発売を前に国内で初お披露目された。

限られたネットワーク帯域でも高画質で伝送できるもので、「4K映像を1/200に圧縮してもほとんど画質劣化を認識できない」(小貝氏)レベルの映像になるという。

230623_reportnow_sony_05
メディア伝送用のゲートウェイであるNXL-ME80。これによって低遅延コーデックで映像を伝送できるようになる

具体的には、4Kの非圧縮映像は12Gbpsだが、低遅延コーデックを使うと60Mbps程度にまで圧縮できるそうだ。ほとんどの映像コンテンツでは目に見えるレベルの劣化はないという。

230623_reportnow_sony_06
非圧縮映像(左)と低遅延コーデックで圧縮した映像(右)。確かに実際に見ても、目に見える劣化は感じ取れない
230623_reportnow_sony_07
シャドーからハイライト、人肌の描写まで違いはほとんどわからなかった

1/200の容量に圧縮できるため、1Gbps程度の回線で4K映像を複数伝送できると小貝氏はアピール。回線コストの関係でリモートプロダクションが導入しづらいという声に対して応えられる技術だとしている。高圧縮だけでなくて低遅延という点も特徴で、4Kの伝送遅延は33.3ms以下とのこと。

230623_reportnow_sony_08
低遅延であることを示すために時間経過を撮影。非圧縮だと4秒9フレーム目(1フレーム16.7ミリ秒)時点の所、圧縮しても4秒7フレーム目と2フレームの差で0.03秒程度に抑えられている

これを実現するメディアエッジプロセッサー「NXL-ME80」は、SDIとIP、そしてクラウドをつなぐゲートウェイとして動作する。2023年秋の発売予定で、参考価格は240万円前後。

230623_reportnow_sony_09
NXL-ME80の実機
230623_reportnow_sony_10
多彩なインターフェースを備えている

新たに開発中として紹介されたもう1つの技術が「ソフトウェアスイッチャー」。スイッチャーは中継放送に使われる装置で、ハードウェアベースの装置となっていた。例えばソニーにも「MLS-X1」といったラインナップがある。

230623_reportnow_sony_11
スイッチャーも様々な環境などに応じて選択できるラインナップ
230623_reportnow_sony_12
SaaS型のクラウドスイッチャーM2 Liveを進化させ、オンプレとクラウドのハイブリッド運用を可能にするソフトウェアスイッチャー

現在は、スポーツ領域を中心に中継の幅が広がっており、ソニーではさらにSaaS型のM2 Liveサービスも提供している。これに加えて開発しているのがソフトウェアスイッチャーだ。

230623_reportnow_sony_13
ソフトウェアスイッチャーやM2 Liveを組み合わせた構成。通常のハードウェアスイッチャーに見えるが、ソフトウェアで動作していて、専用のハードウェアは必要なく、汎用のPCでも動作するという
230623_reportnow_sony_14
M2 Liveはクラウドベースのスイッチャー。スマートフォンやPCでもブラウザを使ってライブスイッチングが可能。ソニーはスマホインカムアプリ「Callsign」も提供しており、これを使えばインカムも含めてクラウド化できる

その名の通りソフトウェアベースのスイッチャーで、運用にはある程度高機能な汎用サーバーまたはクラウド環境が必要。ただ、ハードウェアのスイッチャーと組み合わせて運用する活用方法が強く要望されているため、ハードウェアとソフトウェアのスイッチャーをそれぞれ1つの操作パネルで操作することもできるようにした。

230623_reportnow_sony_15
こちらはハードウェアのスイッチャー。こちらもスタッカブルになっていて、配信現場の状況に応じてスイッチャーを追加できる

「建売住宅」のカスタマイズソリューションでスピーディに

Creators’ Cloudは、もともと法人向けのソリューションとして展開されていたが、今年2月には個人向けのサービスも開始。サービスを充実させている。Creators’ Cloudの特徴の1つとして、AIを組み合わせて映像制作の作業を自動化するという点が上げられる。

230623_reportnow_sony_16
機能強化に加えて個人向けサービスも開始されたCreators’ Cloud

その中核の機能がAI自動化ソリューションである「A2 Production」だ。中でも、スポーツ映像のハイライト自動生成機能に対して多くの利用者がいるという。ハイライト生成以外にも機能があり、さらに音声からテキストを生成する機能も今後提供予定だとしている。

230623_reportnow_sony_17
アップロードされた映像に対してAIを使った自動仕訳、素材登録、コンテンツ自動生成を実現するA2 Production
230623_reportnow_sony_18
スポーツ映像で、得点シーンや盛り上がったシーンなどを、AIが自動抽出して、ハイライト映像を生成してくれる。現在、野球、バスケットボール、卓球などで使われているほか、相撲中継でも需要が上がっているそうだ。相撲は立ち合いの流れがわかりやすく、立ち合いごとのAIによる切り出しが容易で、事前に取組表を取得しておけば、簡単に取組と映像を紐付けて保存できるという

このA2 Productionの提供方法は従来、放送局などから自動化のリクエストを受けてから、それを実現するためにクラウド環境を構築してAIエンジンを準備するなどの作業をしていたため、実際のサービス提供までに一定の期間が必要だった。

それに対し、ソニーマーケティングが「A2 Productionカスタマイズソリューション」として、一定の機能をパッケージとして提供。機能がパッケージ化されているSaaS型ソリューションなので、必要な機能を選んで導入し、その上で顧客の環境に応じてAI解析調整や共通ID認証などのカスタマイズも加えることで、早期に展開できるようにした。

230623_reportnow_sony_19
注文住宅に対する建売住宅という位置づけのA2 Productionカスタマイズソリューション
230623_reportnow_sony_20
番組・ドラマ制作向けにカスタマイズしたA2 Productionのソリューション
230623_reportnow_sony_21
LineSyncタイムライン同期サービスは、同じシーンを撮影した複数のカメラの映像に対して、空間音声を用いて複数映像を同期。タイムコードがない、同期していないといった素材でも、音声の波形が一致するように複数映像が同期される
230623_reportnow_sony_22
実際のデモ映像。4つの映像をAIが自動同期している

小貝氏は、「従来のA2 Productionは注文住宅のように、依頼を受けてから作る形」と説明。それに対してカスタマイズソリューションは「建売住宅」で、あらかじめある程度決まった機能が用意されており、中身を一部カスタマイズするため、構築期間が短期間で済むのだという。

すでにTBSで一部PoC環境を構築。NHKテクノロジーズも大相撲放送のハイライト生成で活用しているそうだ。

もう1つのクラウドソリューションである「C3 Portal」。ソニーの放送用カメラから映像素材をクラウドにアップロードして、関係者がいつでも映像を確認できるようにする。スポーツや報道コンテンツにおいて放送までの時間を短縮できるとしている。

230623_reportnow_sony_23
報道向けのCamera-to-Cloudソリューション。カメラをネットワークにつないで即座に共有して編集作業が可能
230623_reportnow_sony_24
メタデータを連携させることで、素材登録の自動化も可能。AI文字起こしと組み合わせることで内容のテキスト化も可能
230623_reportnow_sony_25
カメラとスマホの通信を組み合わせ、即座に映像をクラウドに登録
230623_reportnow_sony_26
登録された映像は即時プレビューや編集が可能

光学式可変NDフィルター内蔵カメラや「Unreal Engine」にVENICE

ハードウェア面では、放送用カメラの新製品である「HDC-5500V」「HDC-3500V」が新しい。HDC-5000シリーズでは特注対応だったという光学式可変NDフィルターを標準搭載。単体販売も予定しており、従来機種でも対応可能になるという。

230623_reportnow_sony_27
光学式可変NDフィルターだけでなく4K4倍速出力にも対応したフラッグシップカメラHDC-5500Vなどを投入
230623_reportnow_sony_28
HDC-5500Vの実機。可変NDフィルターで1/3までいくとこれ以上は明るくできないが、F値を変更することで明るさを変えられるし、さらにゲインアップすると明るくなる。これを1つのつまみでシームレスに切り替えられる機能も備えた
230623_reportnow_sony_29
今までは1/4、1/8、1/64の3段階でしか切り替えられなかったが、偏光フィルター2枚を組み合わせることで1/3~1/256まで自由に変更できるようになった。VENICEには電子式のNDフィルターを搭載しているが、ソニーは1/4~1/128までしか対応できず、光学式であるからこそ、今回は1/3~1/256まで対応できているという
230623_reportnow_sony_30
NDフィルターを1/3にして、さらに明るくしたい場合はそのままつまみを回すと自動的にF値(画面右上の数字)が小さくなる
230623_reportnow_sony_31
F値をF2.0まであげて、まだ足りない場合はつまみを回せばさらにゲイン(右下の数字)が大きくなる。ちなみに電子式は気温が影響し、-20℃の環境だと反応が悪くなるといったこともあったそうだ

また、小規模スポーツ中継やeスポーツ中継に最適だという「HXC-FZ90」も国内初展示。CATVやプロダクション向けとされており、これまでこのクラスではHD対応にとどまっていたものが4Kに対応。

230623_reportnow_sony_32
エントリーモデルだが4Kに対応したHXC-FZ90
230623_reportnow_sony_33
よりリーズナブルに導入可能とされている

マスターモニターでは、従来の液晶ディスプレイで課題とされていたピーク輝度、高速動画応答に対応して、さらに初めてIPに対応したモデルとして「BVM-HX3110」を発表している。

230623_reportnow_sony_34
マスターモニターも4000nitsの高いピーク輝度を実現。ソニーでは、「BVM」の型番を冠した製品は業界の基準機として位置づけており、そのフラッグシップモデルだ
230623_reportnow_sony_35
従来機(左)と新製品「BVM-HX3110」(右)。明るい太陽の周辺が白トビせずに描写できている
230623_reportnow_sony_36
右は有機ELモデル、中央が新製品、左が従来機。写真で見るとあまり差はわからないが、実際に見ると有機ELや従来機よりも明らかに高コントラストで輝度が高い
230623_reportnow_sony_38
輝度比較。中心部に行くほど輝度が高く、中央以外は再現しきれていないのがわかる

Virtual Production向けの機能も追加されている。昨今の映画などの撮影では、従来のグリーンバックによる撮影手法に対して、ディスプレイに映像を映して背景としているが、Virtual ProductionではUnreal Engineに3D空間を作成して、仮想カメラで撮影するとどのような表示になるかを、事前にマスターモニターで確認できる。

230623_reportnow_sony_39
Virtual Productionの課題として、実際にどのような映像が撮影できるか事前のシミュレーションが重要という点が上げられる
230623_reportnow_sony_40
Unreal Engine上でどのような映像が記録されるかシミュレーションできる。画面上、右側に仮想VENICE、中央に被写体、左側にLEDディスプレイが配置されている。緑色の部分がカメラに映るLEDディスプレイのエリア

ところが、いざ現場に行って本当のVENICEで撮影すると色味が異なっていることがあったという。そのため、色味をあわせた仮想のVENICEをUnreal Engine上の3D空間に設置できるようにした。

加えて、ディスプレイを背景にしてカメラで映すため、被写体との位置関係などによって背景にモアレが生じてしまう。これをUnreal Engine上で確認できるようにした。

230623_reportnow_sony_41
実際にどのエリアが写るかを確認できる
230623_reportnow_sony_42
カメラを動かすと、どの位置だとモアレが発生するかがわかる。黄色は「発生する可能性がある」、赤は「モアレが発生する」という部分。写真に出ているのは、取材時に発生してしまったモアレ

他にも映画「トップガン マーヴェリック」でも使われて知名度を上げた「VENICE」を紹介。世界的にも光学ユニットが分離する点も評価されていて、カンヌ国際映画祭で脚本賞を受賞した「怪物」や、日本で話題の「キングダム 運命の炎」などでも採用。海外でもカンヌ国際映画祭で賞を受賞した作品のいくつかでVENICEやVENICE2 8Kが使われているそうだ。

230623_reportnow_sony_46
VENICEやVENICE2 8Kでは、光学ユニットと本体を接続するエクステンションシステムがあるが、従来は5m程度だったところを、新たに最長12mまで延長でき、自由度が増した新モデルも発売された
230623_reportnow_sony_43
他にはAIによって自動で被写体の人物を捉えて、自然な構図で撮影してくれるという「PTZオートフレーミングカメラ」も展示。全身、ウエストショット、クローズアップの3種類で画角を調整でき、最大20倍の光学ズームを搭載(SRG-A40)
230623_reportnow_sony_44
PTZオートフレーミングカメラ
230623_reportnow_sony_45
歩いている人ぐらいであれば正確に追尾し、顔が隠れても追尾してくれていた