txt：稲田出 構成：編集部
毎年恒例のNHK技研公開が今年も開催！
5月24～27日の4日間、東京・世田谷区にあるNHK放送技術研究所において、毎年恒例のNHK技研公開が開催された。NHK技研では3年毎に研究テーマの大枠を発表しているが、今年はその節目に当たり今後の研究テーマが公表された。
今年は公共的価値の実現に向けて、最先端の放送技術およびサービスの研究開発において先導的な役割を果たすため、2020年はもとより、さらにその先の2030～2040年ごろを想定したNHK技研3か年計画（2018～2020年度）を策定し、新しい放送技術とサービスを「創造」するためのフェーズと位置づけ、「リアリティーイメージング」「コネクテッドメディア」「スマートプロダクション」の3つを大きな柱として、より豊かな放送サービスの実現をめざした研究開発に取り組むとしている。今回の展示もこうした3つのテーマを踏襲したものとなっており、昨年にはなかった研究発表が見受けられた。
とはいえ、現在進行形のスーパーハイビジョン（UHD）が佳境に入っており、より現実の運用に即したものや付加価値を高めるもの、実際の放送に際しての伝送方式のほか、8Kを応用した様々な試みや放送以外でも利用など、今まで蓄積してきた技術を元により実用に即した発表も行われた。
広がる視聴スタイル。時間や場所に縛られることなく、様々な視聴機材により大画面やVR、ARなどを体験できる新しい放送・サービスの実現を目指した「ダイバースビジョン」の研究
テレビ視聴ロボットのほか触覚グローブやスマートグラス、立体ディスプレイなど現在開発が進んでいる
音声認識による書き起こし制作システム。取材映像中の発話内容を音声認識技術によりリアルタイムで文章に書き起こす。長時間におよぶ取材映像から確認したい部分にアクセスし、複数の制作者が同時に認識結果を参照・修正できるインターフェースを開発した
番組制作現場との連携により、これまでに書き起こされた取材映像を含む約4,500時間の音声とテキストを学習することで、さまざまな発話環境や収録条件、話し方に対応
書き起こし制作システムで実際に制作された実際の番組として、ニュース番組や地域密着番組、社会情報番組などが披露されていた
映像自動要約システム。番組映像を自動で要約しダイジェスト版制作を支援する
テロップや顔認識による個人の特定、カメラワークなどから各カットのスコアを算定して、番組制作者が何を重視するか決定
同じ番組からテロップを重視した要約映像、顔を重視した要約映像、カメラワークを重視した要約映像により異なった要約映像が生成される
要約映像のパラメーター設定はソーシャルメディアでの盛り上がりやパターン、CGなどが設定できるほか、要約映像の尺の設定などが行える
白黒映像の自動カラー化技術。AIを活用して白黒画像をカラー化するもので、あらかじめAIにカラー化を学習させることで、処理速度と精度が向上。ニューラルネットワークにより1コマ毎にカラー化、カットごとにバラツキが出ることがあるが、代表フレームで修正をすることで一括変換に対応している
色推定、色修正、色伝播の3つのニューラルネットワークを使って白黒映像をカラー映像に自動変換
対象領域の数点の色を指定するだけで簡単に動画像中の色を修正することが可能
テキストビッグデーター解析技術。毎日大量にソーシャルメディアへ発信される投稿を分析し、関連する過去の番組情報も合わせて、AIが番組制作に有用な情報を提示。ニュース番組や情報番組などで生きた情報として活用できるほか、前取材や企画などに活用できる
ニュース価値のあるソーシャルメディアへの投稿をニューラルネットワークで学習することで、取材に役立つ情報を自動でリアルタイムに取得することが可能。事件や事故などの発生場所を特定し地図上に表示する機能や火事や交通事故などに関する画像を表示する機能、事象ごとにソーシャルメディアへの投稿をまとめる機能も備えている
ロボット実況・自動解説放送。スポーツの試合からリアルタイムに作成される競技データを用いて、音声による実況や解説を自動生成する技術。競技データからテンプレートを用いて実況内容を生成し、DNN2音声合成装置で音声に変換して、会場映像・音声とあわせて提供するもの
スポーツ情報の手話CG制作システム。競技データを手話CGで表現する技術で競技中に配信されるデータから手話CGを自動生成する。競技後のスポーツニュースの手話CGも同様に効率的に制作可能
自動翻訳された結果をそのまま表示するだけでなく、制作者が意図する通りの手話表現に置き換えてお伝えることが可能
メディア統合プラットフォーム。放送・ネット同時配信・VOD（ビデオオンデマンド）・録画機など視聴するメディアや視聴機器が持つ機能に応じて適切な配信メディアや視聴機器を自動的に選択する技術により、視聴者がいつも同じ操作で簡単にコンテンツを視聴できる
テレビ×ネット×ライフを創る行動連携技術。視聴行動と生活のさまざまな場面が結びつき、多様な事業者が視聴者に番組関連サービスを提供できる行動連携技術の研究。ハイブリッドキャスト端末との連携機能により、テレビ起点だけでなくスマホ起点でも利用できるようになった。スマホアプリやIoTデバイスにこのアーキテクチャーを採用することで新しいサービスの展開が可能
テレビ用動画視聴プレーヤーや端末連携アーキテクチャーといった研究成果をもとに、動画配信サービスハイブリッドキャストビデオに必要な技術やスマホとテレビ、IoTデバイスを連携させるHybridcast Connect（ハイコネ）に関わる技術の標準規格化。これにより放送により一斉配信した緊急情報をネット動画視聴中に表示したり、放送により同期情報を送り、ネット動画の再生タイミングを調節することが可能となる
スマホのアプリやIoTデバイスとテレビが双方向につながる端末連携機能と、その機能が架け橋となることで生まれるサービス事例。テレビからの情報やネットの情報、スマホの位置情報などを関連付けることで、様々な情報サービスを提供できる
テレビ視聴ロボット。家族や友人などと一緒にテレビを視聴すると、番組に関連した内容で会話がはずんだり、新たなことに気づくなどの楽しさがある。こうしたことをロボット実現するための技術
視聴中の番組に合わせてロボットにうれしさや楽しさなどの感情表現をさせるため、表情や身振りを交えて発話するロボット
字幕文に加え、番組の映像、音声から動作のきっかけとなるキーワードを検出することができ、字幕情報がない番組にも対応
キーワードを使ったロボットが話す文章生成結果
シート型8K有機ELディスプレイ。これまでは4Kパネル4枚が必要だったが、薄いガラス基板を用いることで1枚のガラスシートで8K映像表示を実現。バックライトが不要な有機ELを使うことでシート状の薄型化に対応した88インチの8Kディスプレイ
大気安定な逆構造有機ELディバイス。フレキシブルなプラスチック基板上で長寿命な表示機能を実現する逆構造有機ELデバイスにより。薄くて軽いフレキシブル有機ELディスプレイを実現するための研究
通常の有機ELデバイスは、酸素・水分に弱いため、それらを通しやすいプラスチック基板上にディスプレイを作製すると徐々に欠陥画素が増えてしまう。酸素・水分に強い材料を使用してた逆構造有機ELデバイスにより長寿命化を実現する
フルスペック8K中継制作システム。最新のフルスペック8K対応機器を搭載した制作中継車。カメラ、レコーダー、スイッチャー、文字合成装置、フレームシンクロナイザー、映像モニター、波長多重伝送装置を搭載している
中継車の内部は省スペースながら放送に必要な機材がすべて搭載されている。すでに実用化されている中継車もあるが、信号系にフルスペック8K映像を光ファイバーを採用することで、コンバーターやルーターなどを大幅に削減している
非圧縮（144Gbps）で最大70kmまで伝送することができる、小型波長多重伝送装置により、離れた中継会場からの伝送やPV会場への伝送でも、画質劣化のないフルスペック8K信号伝送が可能
最大6系統のフルスペック8K素材を、効果をつけながら映像切り替えが可能なスイッチャーを搭載しており、ワイプなどの切り替え効果に加え、映像合成モジュールを追加することでピクチャーインピクチャー表示も可能
8K 4倍速スローモーションシステム。8K映像を毎秒240枚で撮影し記録することができるもので、同時にスロー再生（毎秒60枚）を行うことも可能
新たに開発した高速A/D変換器を備えた1.25インチ3,300万画素CMOSイメージセンサーを搭載した単板式カメラヘッド
1.25インチ3,300万画素CMOSイメージセンサーを3つ搭載した3板式カメラヘッド。カメラヘッドとカメラコントロールユニットの間はファイバーケーブル1本で接続することが可能
4倍速の8K映像をリアルタイムに記録しながら同時に60Hzでスローモーション再生ができる8K 4倍速スロー再生装置。スポーツ番組など長時間の試合でも、撮影しながら可変速スロー再生が可能
8K 120Hz映像符号化・復号装置。8K 120Hz映像をリアルタイムに伝送可能な符号化装置と復号装置。8K映像を圧縮・伸長する符号化技術により、様々な伝送路を利用した中継が可能になる
8K 120Hz映像をリアルタイムに圧縮するハードウェア符号化装置。映像符号化方式にはMPEG-H HEVC/H.265のMain10プロファイルを用い、ARIB標準規格STD-B32 3.9版に準拠した符号化ストリームを出力
8Kデバイスの高感度化技術。8Kカメラの高感度化に向けて、新たな固体撮像デバイスの研究。なだれ増倍を用いた結晶セレン光電変換膜による8K CMOS撮像デバイスの開発
結晶セレン膜で増倍した信号電荷の読み出しに適した8K CMOS回路を設計、試作した。薄くても光を十分吸収できる結晶セレンを光電変換膜に用いることで、低電圧でなだれ増倍が生じるため、耐圧の低いCMOS回路上への積層が可能になった
試作した結晶セレンを光電変換膜を採用した8K CMOS撮像ディバイスを搭載したカメラ
高感度な光電変換膜を積層したによる撮像例
電気光学ポリマーによる光フェーズアレイ。4次元テレビの高解像度化に向け、光ビームの方向を自在に制御できる光フェーズドアレイの研究。高速で光偏向動作可能な電気光学ポリマーを用いたデバイスを展示
時分割3D表示による広視野域・高解像度化を目指し光導波路の狭ピッチ化を進めている
光フェーズドアレイから出力される光の偏向範囲を拡大するためには、光導波路チャンネルの狭ピッチ化が欠かせないが、今回4μmピッチのデバイスにより、約20°の光偏向動作を実現した
オブジェクトベース音響による次世代音声サービス。現在の放送で使われているチャンネルベース音響と比べて、より効率的に多様な音声サービスを実現する、音響メタデータを用いた番組制作技術
音の素材と音響メタデータを放送して、テレビ受信機で各家庭の音響システムに合わせて音声信号を生成。視聴者は、好きなチームへの歓声に背景音を切り替え、実況を小さくして、観客席にいるかのようにスポーツ中継を楽しむなど、自分の好みに合わせて番組音声をカスタマイズできる
Sports 4D Motion。スポーツ中継において被写体の動きを分かりやすく表現する映像技術の研究。多視点カメラの映像から3次元空間と時間での被写体の動きを解析し、動きの軌跡をさまざまな視点から立体的に表現する映像システムを披露した
今年は4K解像度に対応させた多視点ロボットカメラを採用。16台のカメラが同期して被写体をフォローしている
16台のカメラは1つのコントローラーで制御される
16台からのカメラの表示
多視点映像から被写体の3次元位置をリアルタイムに解析し、動きの軌跡や速度などの解析データをCGでぐるっとビジョンに重畳することで、被写体の動きを分かりやすく表現
8K番組素材の移動伝送技術。マラソンや駅伝などの移動生中継を8Kスーパーハイビジョンで実現するFPU無線伝送装置。双方向通信機能を用いた大容量かつ高信頼性を実現する8K移動伝送技術と、FPUで受信した無線のIF信号をイーサネットで伝送する技術の開発
伝搬路に合わせて適応的に送受信ビームや変調方式を変更することで、移動環境での大容量伝送を実現。今回、最大145Mbpsの伝送レートで8K映像を伝送する2.3HGz帯FPUを開発した
良好な伝搬路では誤り訂正の冗長ビットを少なくして伝送レートを高め、劣悪な伝搬路では誤り訂正の冗長ビットを多くして伝送誤りの発生を防ぎ、伝送レートの変動に映像レートが追従するように8K映像符号化装置を制御
複数のアンテナを設置する場合、アンテナ数分のケーブルを敷線するか専用の機材でIF信号を多重する必要があったが、デジタル化しパケットで伝送することで、市販のイーサネットスイッチを用いて1本のケーブルにまとめて伝送できる
IP制作のための8K伝送技術。大容量の8K信号を圧縮してIPネットワークで伝送する装置と、2K/4K/8K全ての制作に利用できる設備を実現する8K分割IP伝送技術
非圧縮8K映像を既存のIP伝送規格に準拠した16本の2KIPフローとして伝送。1本のIPフローを受信して2K映像として扱うことができるため、2K用と4K/8K用番組設備の共通化が可能
8K信号に軽圧縮技術を適用してIP化することで、番組制作に求められる高画質・低遅延を維持しながら、帯域を節約した8K番組素材の伝送が可能
21GHz帯衛星放送システム。3次元テレビなど大容量の情報を放送するための伝送基盤となる21GHz帯衛星放送についての研究。昨年打ち上げられたBSAT-4a衛星経由で伝送した、21GHz帯の電波を実際に受信。21GHz帯衛星放送は、BS衛星放送の約8倍となる300MHzの周波数帯域幅を使用して伝送できるため、大容量のコンテンツを放送することが可能
12GHz/21GHz帯周波数・偏波共用受信アンテナの新たに開発。このアンテナでは12GHz帯と21GHz帯の右旋波と左旋波をすべて同時に受信することができる
12GHz帯のBS放送と21GHz帯の次世代衛星放送をひとつのアンテナで受信するために、周波数と偏波を共用。写真はそれぞれの帯域での受信レベルを表示している
地上放送高度化技術。地上波によるスーパーハイビジョン放送の実現に向けての地上放送高度化技術。新しい誤り訂正符号の採用や信号構造の見直しなどにより、地上デジタル放送よりも大幅に性能が向上した暫定的な伝送方式を策定し、改良を進めている。今秋から東京・名古屋で大規模な実験を予定しており、これに向けての装置や設備の準備を進めている
符号化効率を向上するために、映像符号化の前段で雑音除去などを行う装置。符号化による画質劣化につながる不要な成分をリアルタイムに取り除くことで、特に高い圧縮率における画質を改善した
30万画素3次元画像システム。特別なめがねなしに自然で見やすい3次元テレビの実現を目指し、水平・垂直方向に動いても見ることができる光線再生型の3次元映像の研究。3次元映像の品質向上に向けて、複数カメラによる撮影技術と高密度な光線再生による表示技術を展示
複数のカメラを格子状に並べたカメラアレイにより撮影した多視点画像から、3次元映像に必要な光線情報を精度よく補間生成する技術を開発
4Kカメラを導入した多視点ロボットカメラの撮影映像から、3次元モデル生成手法を用いて高品質な立体像を生成
実際の表示の様子
ソードトレーサー。より分かりやすく魅力的なスポーツ中継を目指し、映像解析や各種センサを活用しすることで、高速で視認困難なフェンシングの剣先の動きを可視化するシステム
放送用のカメラ映像と赤外映像を同じ画角で撮影可能なカメラを開発。これにより、赤外映像を利用することで剣先の位置を安定的に検出・追跡し、その軌跡CGを放送用カメラ映像へ合成することが可能
剣先に巻いた特殊な反射テープからの光を赤外映像上で追跡し、軌跡CGの位置を計測。 剣先の画像を機械学習することで、赤外画像上の剣先領域を高精度かつリアルタイムに追跡することが可能
こうして作られた実際の映像。剣先の軌跡がグリーンとレッドで描写されている
