多視点映像や立体映像を展示した「コンテンツエクスペリエンスゾーン」

今年のCEATECでも、立体映像や多視点映像、テレワークを使った技術や製品を紹介する「コンテンツエクスペリエンスゾーン」が設けられていた。今後利用が広がることが予想される技術やメディアをいち早く体験できるというゾーンだ。その中の注目の技術展示をいくつか紹介しよう。

観客視点に着目した多視点映像の撮影と処理

中京テレビ／福井大学のブースで行われていた展示は、観客視点を利用した多視点映像の撮影と処理だ。中京テレビ放送と東京工業大学、慶應義塾大学、名古屋大学、福井大学の共同で行われている「三次元映像技術による超臨場感コミュニケーション技術の研究開発」の中の1つだ。

ブースには、驚くほどの数のAndroidの携帯端末が並べられていた。この膨大な数のAndroid端末を利用して、多視点での同時撮影システムを実現するというものだ。Android端末はコストも抑えられるし加速度方位センサー情報も搭載しているうえ、一般の人でも使いやすいという優位から選んだという。現在、25台の端末を一斉に操作するということに成功しているという。

このシステムを使えば、HDで撮影した動画の中から好きな地点を選んで楽しむことが可能だ。台数が増えれば増えるほどさまざまな角度からの映像が得られ、さらに多視点の放送が実現可能になるというわけだ。

ユニークなのは、端末のカメラの向きや姿勢、仰角などの情報を使ってパノラマ映像を作成したり、多数のカメラの視線が同じ方向を向いていた場合はイベントが起こっていると判断する。今後は、そのイベントが起こっている地点に対して、カメラを自動で切り替えるようなシステムに応用できる研究を進めているという。

最終的にはサッカーとかスタジアムにいるお客さん一人一人に持ってもらって、撮影をしてもらえるような形にしたいとのことだ。

野球のキャッチャー視点映像生成システム

慶應義塾大学のブースで展示されていたのは映像の中の物体を除去するという技術だ。こちらも、中京テレビ放送と東京工業大学、慶應義塾大学、名古屋大学、福井大学の共同で行われている1つの技術展示だ。

ブース上にはXbox 360のKinectとWebカメラで映像が入力されていて、そのカメラに向かって手を映すと手が透過されて映る。処理もリアルタイムで行われるので、初めて見たときはびっくりする。ブース上の事例はVGAで行われているのでリアルタイムの処理が可能だが、HDなどになるとシステムによっては1～2秒の遅延が起こったりするとのことだ。

研究成果の映像では、実写で野球ゲームのよくあるプレイ画面と同じ視点を再現したものが紹介されていた。通常、この視点で撮るとキャッチャーと審判に遮られしまってピッチャーは見えないはずだが、キャッチャーと審判を消したので投手が見える映像が実現できている。

この映像は、「ピッチャーの合成」「審判とキャッチャーの除去」「ボール軌跡の可視化」の処理から成り立っている。ピッチャーの合成では、左右に設置したカメラからピッチャー領域を中央カメラ視点へ変換して合成。審判とキャッチャーは、領域検出によって除去する。最後にそれぞれの処理によって生成された結果を領域ごとに合成することで、実現している。

この技術の応用例としては、撮影をしたいのだけれども障害物がある場合にそれらを消すのに使えそうとのこと。別の機関ではこの技術を使って、交差点の曲がり角を遮る壁を透視するための研究も行われているとのことだ。

多眼式、体積表示方式を使った三次元ディスプレイ

筑波大学／視覚メディア研究所で公開されていたのは多眼式、体積表示方式を使った三次元ディスプレイだ。ディスプレイを覗くとキャラが空中に浮いているように見える。視点を右に少し移動すればキャラを右側の角度から見られるし、視点を少し左側に移動すればキャラを左側の角度から見られる。上下にも視差にも対応しているし、メガネなしで立体映像が楽しめる。左右の視野角は75度あるので、複数の人が同時に視聴することも可能だ。

この技術は見る視点に応じた場所の画像をあらかじめ用意して、見る場所によってそれらの画像を合成して表示するというものだ。ブースの例では横に10視点分、縦に5視点分用意されていて、下側と奥にある画像をハーフミラーで合成させるという仕組みで表示されている。

今後は、実際に奥行きをしっかりと表示することができるという技術の特徴を生かして、リアルタイムにロボットの遠隔操作をするのに使ったり、エンターテイメント系にも使えそうとのことだ。

離れた地域の空間を1つにするテレワークシステム

沖電気工業株式会社／東京農工大学のブースでは、近未来のテレワークシステムが展示されていた。このシステムは、2つの離れたところにあるオフィスをあたかも1つのオフィスであるかのように通信させる技術を研究したものだ。

通常のテレビ会議でも映像と会話で2つの場所をつなぐことはできるが、「特定の用途がある場合につなぐ」というのが一般的な使われ方だ。このシステムの場合は、お互いの居室の天井に設置されたカメラを使って、離れた居室と居室を常につなぐイメージのシステムだ。

特に意識したところは、仕事中に発生する雑談みたいなものも共有できるというということだ。アイデアというのは気軽な会話がきっかけで生まれるものだが、離れたところだと気楽に近づいていくことはなかなかできない。そういったことを可能にしようとするのが、このシステムの特徴だ。

具体的には、まず最初に俯瞰表示ディスプレイで遠隔オフィスの状況を確認する。画面の人の上に青いアイコンとグラフのようなもの重ねて表示されていて、パソコンの利用状況から推定したその人の忙しさを表示している。真っ赤のアイコンの人は大忙しという意味だ。グラフによって、ずっと忙しいのか、今だけ忙しいのかがわかるようになっている。また、スマートフォンの背面にセンサーを取り付けて、そこからも「会議中」とか「移動中」といった状況を推定することも可能になっている。

次に、俯瞰ディスプレイで状況を推定した結果から、話をしたい人の周りでなにが起きているのかをタッチパネルを採用したコミュニケーション端末で確認する。ズームで寄っていき、この人の周りの音と聞くことも可能だ。会話をしたいという場合はもう一度クリックしてテレビ電話のように会話をすることが可能だ。

以上のように、俯瞰ディスプレイの付加された情報から全体の状況を判断して、コミュニケーションを図りたい場合はコミュニケーション端末で近づいてさらに状況を把握できる。この工程を経ることで、コミュニケーションを行う前の心理的な障壁というのを下げてることが可能になる。雑談的で取り立てて凄く深い内容があるわけではないけれども、なんか話をしたほうが新しいアイデアに結びつくような軽いトークやチャットトークみたいなことを、離れていても頻繁に行いやすくなるわけだ。

このシステムは、現在ある程度は完成していて沖電気の埼玉県の蕨市と大阪にあるオフィス間ですでに1～2年ほど稼動させている実績もあるという。今後は一般の人たちにとってより使いやすくなるような研究をさらに行っていくとのことだ。

---