txt：稲田出 構成：編集部
今年もこの季節がやってきた。NHK技研公開が開催！
NHKは5月30日～6月2日の4日間、「ワクからはみ出せ、未来のメディア」をテーマに掲げ、高精細VR映像や、ARを活用したテレビ視聴スタイルなど、従来のテレビのワクを越えた視聴サービスを実現する技術を一般に公開する「第73回 技研公開」を東京・世田谷のNHK放送技術研究所で開催した。
同イベントはNHK放送技術研究所の研究成果を一般に公開するもので、技術、放送・サービスをより便利に楽しめる技術など、NHK技研が目指す未来のメディアについて紹介するもの。
今年は3次元テレビやAR・VRによる新しい視聴体験の実現を目指したメディア技術や放送・サービスの利便性をさらに高めるインターネット活用技術、AIを用いて効率的に番組を制作する技術、それにユニバーサルサービスなど、約25項目の研究成果を展示。また「身体の未来 拡張現実感から人間拡張工学へ」「空間表現を広げる視覚のしくみ」などの講演やガイドツアー、スタンプラリー、こどもワークショップといった一般の来場者向けのイベントも行っていた。
なお、講堂8Kシアターでは、フレーム周波数120Hzに対応した8Kレーザープロジェクターによる超高精細映像と、22.2マルチチャンネルによる3次元音響で、8Kコンテンツが上映された。
■2030～2040年ごろのメディア技術
3DテレビやAR・VRなどの技術によって進化のワクを広げた表現空間を拡張したサービスを提供する未来のメディア技術ダイバースビジョン。会場では表現空間を拡張する未来のメディア技術としてさまざまな視聴スタイルに対応できる視聴形態を提案。
人間の視野いっぱいに広がるパノラマ映像やVRやARを表示できるほか、音響も多チャンネルサラウンドによる視聴が可能な未来形ディスプレイ
■高精細VR映像
高精細で没入型の映像体験か可能な大型の円筒スクリーンに投影した映像。この映像は3台の8Kカメラを放射状に並べて撮影したものを8台の4Kプロジェクターを用いて180°の円筒スクリーンに投影したものでテレビの枠にとらわれず、視聴者が見たい方向の映像を視聴できる。
■ARを活用したテレビ視聴スタイル
AR技術を活用した将来の新しいテレビ視聴サービス。離れた場所にいる家族や友人と一緒にテレビを視聴するスタイルの紹介。
ARゴーグルやタブレット、スマートフォンを通して見ると、出演者や別の場所の家族や友人の3次元映像が等身大で合成表示するもの
インターネットなどの通信回線放送に用いられているMMTと共通のタイムスタンプを付与することで、受信側ではこれらの映像を同期してAR合成表示することができ出演者や家族・友人と空間を共有しながらテレビを視聴することが可能
■視点に追従するインテグラル3D映像
裸眼で3D映像を視聴することが可能なインテグラル3D映像システム。このシステムでは高精細な撮像素子やディスプレイ技術を必要とするが、8Kが身近になったことで画像のクオリティが年々向上している。
今年は数多くの来場者にインテグラル3D映像による裸眼3D映像を体験できるように6台のディスプレイを用意していた
■インテグラル3DCG映像のリアルタイム生成技術
スポーツ選手の動きを3DCG映像でさまざまな視点から楽しむことを可能とするもので、携帯端末に表示したスポーツ選手の動きを表すCGキャラクターのインテグラル3D映像によって、選手の動きをさまざまな視点からリアルタイムに見ることが可能。
ボルダリング選手のモーションデータを元に3DCGのキャラクターを生成して制作したディスプレイ画面。サーバーでレンダリングした4K解像度のインテグラル3D映像を携帯端末に無線伝送して表示
■3次元映像の奥行き表現技術
手前に映っている被写体の立体感を強調したい、シーン全体をはっきりと見せたい、といった制作者の意図を表現するために、3次元映像の奥行き情報を調整する技術。
人間の視覚特性を考慮して、見ている人に違和感を与えないように、被写体の形状を奥行き方向に圧縮。これにより、奥行きの再現範囲に制約がある3Dテレビでも、深い奥行きのシーンを再現可能に
■将来の3次元映像表示デバイス
奥行き範囲の広いインテグラル3D映像の表示を目指す光フェーズドアレーと広い視域の動画ホログラフィー表示に向けたスピン空間光変調器の研究など高品質な3次元映像表示の実現に向けての高速・高密度な表示デバイスの研究。
ホログラフィーで広視域の3次元映像を実現するために光変調素子を設計・試作し、電流駆動による光変調動作を実証。動画表示に向けての研究
■ネット×データ×IoTが連携するメディア技術
ネットのデータやIoT機器が連携することで、今までにないメリットをもたらす放送メディアを実現する研究。
■テレビ視聴ロボット
ロボットが番組の映像や音声から番組のキーワードを認識し、関連した発話を行うことで、ロボットと番組に関する会話を楽しむことができる次世代のマンマシンインターフェース。
人との会話を行う人形のロボットで、動きを交えたジェスチャーを行いながら会話を行う
ロボットとの対話例。人がテレビを見ている様子やテレビ画面に映し出された画像を認識して対話を行う
置かれた環境の中からテレビ画面を認識し、画面に写っている動画から情報を得る。AIを利用したデープラーニングにより画面の情報を解析すると同時にテレビのEPGなどの番組情報なども加味して人との会話に活かす
■フルスペック8Kライブ制作伝送実験
高フレームレートにより被写体の動きを鮮明かつ滑らかに表現できるフルスペック8Kの制作機器の開発や伝送・表示技術の研究。8K120Hzに対応した番組制作機器や符号化装置のほか衛星伝送装置や表示再生装置を用いて、フルスペック8Kのライブ制作伝送実験。
リアルタイム編集可能なオンライン編集機。リニアライクな編集作業を行えるノンリニア編集システムPrunus。オリンピックのハイライト制作等で実績のあるノンリニア編集システムで8K60P 4:2:2 HDR対応
高ビットレートでのリアルタイム処理を実現した8K120Hz映像符号化装置。映像符号化方式にはMPEG-H HEVC/H.265のMain10プロファイルを用い、ARIB標準規格STD-B32 3.9版に準拠した符号化ストリームを出力
符号化装置からの8K 120Hzの映像信号をテレビなどに出力できるようにする複合装置
会場ブースでは復号化された8K 120Hzの映像を披露。表示されていた映像は広帯域・大容量伝送が可能なBSAT-4a衛星の21GHz帯中継器を用いてのライブ伝送のリアルタイム画像
低遅延・軽圧縮IP伝送装置。二子玉川から送信されたフルスペックの8K映像をIP伝送装置により伝送し、世田谷の会場で表示していた
■22.2マルチチャンネル音響の適応ダウンミックス
22.2ch音響と5.1サラウンドおよびステレオの一体制作が可能なシステム。従来のダウンミックス技術では複数のチャンネルが加算されることで周波数成分ごとの音の強弱が22.2ch音響から変化し、音色の劣化につながっていたものを22.2ch音響の周波数成分ごとの音の強弱に合わせてダウンミックスを補正することで、劣化を抑制する技術を開発。
22.2マルチチャンネルの音響的な特徴を保持したまま、5.1サラウンドとステレオを自動で制作するためのダウンミックス装置。5.1サラウンドとステレオの平均ラウドネス値を22.2ch音響の番組全体の平均ラウドネス値に合わせてダウンミックスできるラウドネスチェイス技術を搭載
■次世代撮像デバイス技術
8Kカメラのさらなる高性能化に向けて、新しい構造の撮像デバイスの開発。カメラの高感度化を目指した増倍膜積層型撮像デバイスや小型で高精細な単板カメラを目指した有機膜積層型カラー撮像デバイスなどの要素技術の紹介。
増倍膜の構造や製膜法を検討し、10倍の増倍を実現した結晶セレンを用いた光電変換膜を用いた増倍膜積層型撮像デバイス
RGB3層構造の有機膜積層型カラー撮像デバイス。各有機膜から電荷を読み出す透明のTFT回路を交互に積み重ねた、積層構造の単板カラー撮像デバイスを開発。今回はTFT回路の微細化を進めた画素ピッチを従来の50μmから20μmに縮小した物を出展
■超大容量ホログラムメモリー
8Kスーパーハイビジョン映像の長期保存技術として、超大容量・高転送速度のホログラムメモリーの研究。これまでは黒と白のみを用いた振幅2値データを記録していたが、今回、黒と白の中間の明るさ2種類を加えた振幅4値データを高密度に記録することで、光学系などを変更せずに記録容量を向上。再生データに重畳された光学系のノイズ特性を事前に学習させた畳み込みニューラルネットワークを用いることで、再生時の復調誤りを大幅に低減。
■フレキシブルディスプレーの要素技術
超薄型・軽量・大画面フレキシブルディスプレーの実現に向けた研究開発。今回、新たに開発した酸化物半導体材料とパターン形成技術により、大画面化に適した塗布プロセスで、真空プロセスと同等の移動度の高いTFTや有毒なカドミウムを使用しない新しい量子ドット材料を開発し、高色純度の緑色EL発光を実現。
■IP番組制作設備のクラウド化
IP技術やクラウド技術により、リモート制作や機器共有を実現する番組制作システムの研究開発。2K/4K/8Kなどのさまざまな解像度の映像や、カメラの台数に柔軟に対応できる映像スイッチャーをクラウド上にソフトウェアで構築し、映像や音声信号の品質をIPパケットレベルでリアルタイム監視できる装置を開発。
ネットワークを流れる映像信号や音声信号をリアルタイムに監視できるIPフロー監視装置を開発し、パケットヘッダなど必要な情報のみを抽出することで処理負荷を軽減。回線を流れるすべての信号を監視することが可能。監視結果を集計し、映像や音声のIPフローごとにパケットロス数やジッター、伝送遅延の時系列データを表示することで、トラブル発生時の迅速な対応を実現
■スーパーハイビジョンワイヤレスカメラ
大容量の4K8K映像をワイヤレスで移動伝送できる、持ち運び可能な小型・低消費電力の伝送装置や制作現場で機器の設営を簡単にするために、受信信号をイーサネットで伝送する装置も開発。
42GHzのミリ波帯の電波を使用することで、8K映像を約200Mbpsの伝送容量で伝送できるワイヤレスカメラや可搬型の低遅延コーデックと組み合わせることで、高画質・低遅延な映像を無線伝送を開発
■地上放送高度化方式の大規模野外実験
東京タワーから送信している実験電波を受信して、映像・音声を表示・再生するとともに、映像・音声符号化技術や検証実験の内容を紹介。
画質劣化につながる成分を映像符号化の前段で適応的に取り除き、劣化を抑制することで符号化画質を改善したほかオブジェクトベース音響に対応したMPEG-H 3D Audioリアルタイム符号化・復号装置を開発
■次世代映像符号化方式VVC（Versatile Video Coding）
新4K8K衛星放送で使用されている映像符号化方式HEVCを上回る高効率で高圧縮可能な映像符号化技術の研究。
現在までのVVCの標準化作業では、柔軟なブロック分割、多様な予測技術や変換技術など、HEVCの要素技術を拡張することにより、HEVCと比較して約30％の効率改善を確認。ここでは、同一ビットレートにおけるHEVCとVVCの画質の違いを展示
■オブジェクトベース音響による次世代音声サービス
世代地上放送に向けて、視聴者が自分の好みや視聴環境に合わせて番組音声をカスタマイズできる、オブジェクトベース音響による音声サービスの研究。
■生放送番組における自動字幕制作
AIを活用した音声認識により、生放送の音声から自動的に字幕を制作し、インターネット配信するトライアルサービス。すでに福島、静岡、熊本の3県で実施。
不明瞭な発話や方言まじりの発話など、音声認識の誤りが発生しそうな発話区間を自動検出する手法を新たに開発。地域放送番組の認識精度の向上のため、全国ニュースの認識に用いている辞書には入っていない地域独自の地名や名称などの単語をDNNを使い、地域放送局ごとに過去1年分の番組原稿データを学習することにより、認識精度の向上を図っている
■AIアナウンサー
NHKアナウンサーのノウハウを活かして、気象情報番組を自然で滑らかな合成音声で読み上げるAIアナウンサーの開発。すでに2019年3月に甲府放送局のラジオ第1放送で、AIアナウンサーによるトライアル放送を実施している。
■ニュースを対象とした日英機械翻訳システム
英語ニュースの迅速な制作支援のための日本語のニュース原稿を自動的に翻訳する技術の研究。
NHKが保有する大規模な日英ニュース対訳データをニューラル機械翻訳システムで学習することにより、一文が長い日本語ニュースに対して高品質な日英翻訳を実現
■スポーツの状況を体感できる触覚インターフェース
スポーツ番組の感動を共有し楽しめるユニバーサルサービスの実現を目指し、競技の状況を体感できる触覚インターフェースの研究。
球技を対象に、ラケットや手に伝わる振動や、サーブやレシーブのタイミングを提示するユーザーインターフェースを開発
映像や競技の音声データ、ボールの3次元軌跡データから、力の向きや大きさを推定して振動情報を触覚インターフェースに提供。ボールが壁や床に当たった時の音や会場の盛り上がりを振動で表現することで、聴覚に障害がある方にもスポーツ番組を楽しめるサービス
■スポーツ映像の状況理解技術
AIを搭載したロボットカメラの開発により、サッカー競技における選手やボールの位置などの状況を理解し、状況に応じたカメラワークの自動生成技術の開発。
競技の状況に応じて適切なカメラの構図を自動決定するため、センサーカメラからの情報をAIにより解析し選手やボールの全体配置、選手の移動速度から推定した攻撃チームおよび積極的に関与している選手に基づき、試合状況を判断。ブースではスーパーハイビジョン映像からの切り出しによりロボットカメラを制御
■ARを活用したテレビ視聴体験
テレビ映像と3次元ARコンテンツに絶対時刻のタイムスタンプを付与して配信することで、テレビの映像とタブレット端末の3次元ARコンテンツとを高精度に同期させた新たな視聴体験を実現。
出演者や遠隔地にいる家族など視聴者にとって特別な人と一緒に番組を見ることができる空間共有サービスのイメージを展示。ヘッドマウントディスプレーに表示された360°映像により、空間共有サービスを疑似体験することが可能
■8Kでどこまで見えるか、しらべてみよう！
8Kスーパーハイビジョンのカメラを操作しながら、細かい部分まで良く見える8Kスーパーハイビジョンの特性を確認できるコーナー。
ブースには8K、4K、HDの3種類のカメラが用意されておりズーム、フォーカス、アイリスを調整しながらカメラの特性を確認できる
ブースにはHDと8Kの比較がひと目でわかるように2台のモニターを並べて設置
■8Kでスローモーションを体験してみよう！
4倍速撮影（毎秒240枚）が可能な8K高速度カメラとレコーダーを使用した8Kスローモーションを体験。
8K映像を4倍速で撮影できる撮像素子を搭載した8K高速度カメラを開発。これにより、スポーツなどの素早い動きでも、動きぼやけの少ない鮮明な8K映像を撮影することが可能になった
4倍速の8K映像をリアルタイムに記録しながら、同時にスロー再生ができるレコーダーを開発。4時間の連続記録に対応しており、長時間のスポーツ番組でも決定的なシーンを撮り逃すことなく、その場ですぐにスロー再生することができる
■AIで白黒写真をカラー化してみよう！
AIを利用して白黒映像を自動的にカラー映像に変換する技術の研究。ブースでは撮影した白黒写真を自動でカラー化してプリントして記念に持ち帰ることができる。
2万本の番組を使ってAIに映像中の物体の色を学習。これにより、わずか数秒で白黒写真をカラー写真に変換することが可能になった。また、AIは物体の境界も学習しているため、色を部分的に修正することも可能。人手で行っていたカラー化作業のように、修正範囲を細かく指定する必要がなく簡単な操作で服の色などを好みの色に変えることができる
