プレスカンファレンスに登壇するソニーの吉田憲一郎氏
ビジュアライズで未来を切り開くを考えてみる
振り返ってみると、今年ほどソニーがCESにおいて、明確なメッセージを発信したことはなかったかもしれない。そのメッセージとは「ビジュアライズ」である。すでにPRONEWSでもいくつかソニーついては、その模様をお送りしているが、CES2023が会期ほぼ終盤になりやはりそのソニーの打ち出すビジュアライズの意図が浮き彫りになったといえる。今回は、そのことについて考えてみたい。
ソニーの定位置であるLVCCの一番奥に陣取るソニーのブース展示やプレゼンテーションは、次の3つのカテゴリーで構成されていた。
3つ目の新しいモビリティーのプロトタイプとして登場した「AFEELA」も含めて、すべてをビジュアライズいう文脈で捉えることができる。これはソニーの考え方を知るということ以上に、近未来のテクノロジーを我々が有効に利用してよりよい社会にするためには、可視化すること、ビジュアライズが重要な要素であることを改めて感じたからである。
現実社会とバーチャルをビジュアライズするためのソニーによる技術
現実社会とバーチャルの可能性を広げる（Expanding Potential of Virtual and Physical）
現実社会とバーチャルの可能性を広げるとは、いわゆるメタバースやバーチャルプロダクションに関連する、あるいはそれらを往来したりマージさせる領域のことだ。現実社会とバーチャルをビジュアライズするためのソニーによる技術やサービスへの取り組みである。これらは大きくボリュメトリックキャプチャーとモーションキャプチャーに二分される。
ボリュメトリックキャプチャーとは実在するもの、ここでは人物としておく方がわかりやすいので人物を、リアルなカメラでは撮影できないようなアングルや動きも含めて自由視点で見るためのもの、つまりどちらかというと視聴者や利用者のためのビジュアライズと言っていいだろう。< /p>
一方、モーションキャプチャーは、実在の人物の動きのデータを取得して、CGやアニメーション制作の補助ツールとして使うもの、つまり制作者のためのビジュアライズということになる。
可搬型ボリュメトリックシステム
ボリュメトリックチャプチャーに関して、ソニーは決して先駆者であるとは言えないかもしれない。今回は7個のセンサー（今回のプロトタイプでは他社製の市販品）を使用し、セットアップも15秒ほどで迅速に行うことができ、かつ可搬型という特徴をアピールする。
キャプチャー対象は人物・物体・空間のどれであってももちろん可能だが、デモでは人物に特化させた処理エンジンを使うことで、セットアップやキャプチャーの精度や処理速度の高速化を実現させている。センサーは３Dデプスセンサーを用いているので、キャプチャに際してクロマキーのためのグリーンバックは必要なく、グリーンバックの有無は精度には影響しない。
またこのシステムでは画像処理自体はすべてクラウド上で行うので、ハードウエアも含めた可搬性を追求している。ボリュメトリックキャプチャーはハイエンドから簡便なものまですでに競合システムも多いが、本システムは簡便かつ高性能を狙うビジュアライズのシステムである。
モーションキャプチャーを民主化するmocopi
モーションキャプチャーの製品事例としては、まもなく1月20日に発売されるモバイルモーションキャプチャーデバイス「mocopi」を利用し、プリプロダクションとしてビデオコンテを制作するという設定でデモを行った。これは製品発表後の反響として、VTuberのような層だけではなく、想像以上にプロの映像制作者からの問い合わせが多かったためだという。
mocopiは6個のセンサーを両手・両足・頭・腰に装着して全身をフルトラッキングすることができ、価格も税込49,500円と言う手軽さで大変注目を集めている。これまではモーションキャプチャーといえば大掛かりで高価なシステムが必要で、キャリブレーションなどに時間を要したが、mocopiのキャリブレーションは一歩前に歩くだけで一瞬で完了する。
またキャプチャーはスマホアプリでBluetoothを介して行い、既存のVRM形式のアバターを読み込むことが可能で、独自のアバターを作成するためのSDKも公開される。mocopiはモーションキャプチャーをもっと手軽に民主化するというコンセプトで開発を行ってきたということで、今後どのような利用が進むのか注目していきたい製品である。
スポーツの試合データから生まれる新たなエンタテインメント
ソニーグループのHawk-Eye Innovations、Beyond Sports、そしてPulseliveが有する各種技術によって、実際のプレー中にフィールドで取得されたデータをビジュアライズすることでバーチャルなコンテンツを制作し、さまざまなプラットフォームに提供し、ファンの手元に届くまでの流れを紹介した。
サッカーの試合において、実際の選手やボールの動きのデータを用いてテレビゲームのようなグラフィックスを作成する。これらは自由視点映像として視聴者が好きな視点を主観映像として設定したり、自らをフィールドの中に選手と一緒に存在させた状態を客観映像としてビジュアライズさせるなど、本物のプレーデータを活用した新しいスポーツ観戦体験に関する取り組みを紹介した。
こうした体験については、現在実現できるのは試合中のハイライトシーンを切り出してそこに対して行うものだが、将来的には完全にリアルタイムで行うことを目指すことに意味があるかどうかについても検証を重ねていくそうだ。
バーチャル・ファンエンゲージメント
ソニーは英国プレミアリーグのマンチェスター・シティと、次世代のオンラインファンコミュニティの実現に向けた実証実験を行っている。バーチャル空間上に再現されたマンチェスター・シティのホームスタジアムであるエティハド・スタジアムにいるかのようなメタバースコンテンツが紹介された。
これはファンがスマートフォン上で作成する自身のアバターを通じてチームにかける想いや情熱を表現できるほか、世界中のファン同士が交流しエンゲージメントを高められるさまざまなサービスの提供を目指すという。
27型に大画面化した空間再現ディスプレイのプロトタイプ
ここまで紹介してきた様々な技術によってビジュアライズされた映像の表示方法について、裸眼で立体的に表示するためのディスプレイとして、従来の15.6インチから27インチに大画面化された「空間再現ディスプレイ」のプロトタイプを初めて公開した。大型化によって原寸大でビジュアライズできる対象がかなり広がった。
たとえば脳のスキャンデータを原寸大で立体的に表示することでより実在感のあるものになっていた。技術的には50インチ以上の大型化も不可能ではないそうだが、対象となるコンテンツとその実際のサイズ感、視認位置との関係などによって本当に大型化が必要になるかについて更に検証を重ねていくそうだ。
PlayStation VR2およびPlayStation 5
そしてソニーには最強の武器としてのPlayStationがある。PlayStationはビデオゲームというエンターテインメントの世界を切り開き、リニアではないノンリニアで、バーチャルなビジュアルコンテンツの先駆けであることはいまさらの何の説明も不要だ。今回はPS VR2が初公開になった。
クリエイターを支える（Moving Creators Forward）
クリエイターを支えるとは、映像機器やソフトウエアを提供するソニーのメイン事業ドメインだ。そう、PRONEWS読者ならお馴染みであるデジタルシネマカメラ「VENICE 2」を含む映像制作用カメラ製品シリーズCinema Lineやフルサイズミラーレスカメラシリーズ、VLOGCAMシリーズに加え、プロフェッショナル向けドローン「Airpeak」や「Xperiaスマートフォン」、クラウド制作プラットフォーム「Creators’ Cloud」など、おなじみの映像制作、ビジュアライズのためのソリューション群である。
これらに加えて、宇宙の視点から地球環境や社会課題をビジュアライズするプロジェクトが、昨年のCESで発表された「STAR SPHERE」である。CES2023開催直前の1月3日に、遠隔での操作・撮影が可能なカメラを搭載した超小型人工衛星「EYE」の打ち上げが成功したところだ。「STAR SPHERE」は宇宙規模でマクロなビジュアライズを行う取り組みなのである。
進化するモビリティ体験 Evolving Mobility Experience
ソニー・ホンダ・モビリティ（SHM）がCES2023において、新たなコンセプトカーの「AFEELA」を発表したことはPRONEWSでもお伝え済だ。CES会期の前日に今年も開催されたソニーのプレスカンファレンスの現場では、ライブ配信された映像だけでは伝わりにくいものを数多く示唆していた。特にEpic Games、すなわちUnreal Engineとの連携を深読みする必要がある。 ソニーがEVを世に送り出すという事実の向こうに見える別の側面をここではお伝えしたい。
カンファレンスで登壇したEpic GamesのCTOであるKim Libreri氏のプレゼンテーションから関連部分を抜粋してみる。
この移動体験の中心にあるのはAFEELです。人がインテリジェントなモビリティーの感覚を感じ、モビリティーがセンシングとAI技術を活用して人や社会を検出し理解するインタラクティブな関係の概念を表しています ビジュアルコミュニケーションと安全性だけでなく、エンターテインメントの分野でも先を行くコネクテッドカーエクスペリエンスを提供できるように我々は支援しています。
最新の車両技術には、センサーやアクティブセーフティシステムなどを使用して、運転と乗客の体験を向上させる可能性がたくさんあります。そしてそのようなデータを視覚化する最も自然な方法は、直感的なインタラクティブなフォトリアル拡張を使用することです。私達のゲームエンジンができることそのものです。
モビリティーが変化するにつれて、将来的には、自動車は社会的なつながりを提供する次世代の目的地となるでしょう。乗員だけでなく、友人や仲間ともつながるデジタルライフの連続体になります。
いまひとつ具体性に欠けるものではあるが、プレゼンテーションの背景のLEDウォール（もちろん自社のCrystalLED）に表示されている映像をあわせて見ていると、いろいろと妄想、いや想像力が膨らむ。
カメラも含めて45個のセンサーの塊であるSHM車が街中を走りまわる状況を想像してみよう。これらのセンサー群は自動運転のためのものだが、高度なビッグデーター収集マシンが走り回っているのと同じである。Googleのストリートビューの撮影車は1年に1回も来ればいい方だと思うが、それより遥かに頻繁に、場所によっては常に収集できる世界を想像してみてもらいたい。
こうしたセンシングデータが画像をUnreal Engineでビジュアライズすれば、リアルタイムに近いその場所の状況を遠隔地から知る（≒見る）ことができる。そしてそれは継続的に蓄積をされて行くのだ。
かつてホンダは、自社のカーナビシステムである「インターナビ」を利用してホンダ車の位置や走行情報を収集して、道路混雑や渋滞状況を把握し、最適なナビゲーションを提供するサービスをいち早くスタートさせ、現在もそれは脈々と続いている。
東日本大震災の時にはこの情報を利用して、道路に何らかの障害があることを確認するために有効活用されたことを覚えている人も多いだろう。現在のGoogle Mapで提供されている交通情報は、我々のスマートフォンが常にと収集している移動データを元にして提供されている。
つまり、ストリートビューやインターナビの未来版がUnrealによって提供される世界をイメージする必要がある。
SHMとUnrealとの連携は、自動運転になって暇なドライバーや同乗者にエンターテインメントを提供するという目的だ。もちろんそれが主たる目的なのだが、現実的には走行中の車内で激しく揺れる映像コンテンツを見たりゲームをすること自体、車酔いや緊急時の安全確保の観点からは手放しにバラ色の世界があるとは思えない。
GoogleはWEB検索エンジンを提供することによって結果的に広告ビジネスを手に入れることになり、そこから一気にビジネスを多様化、拡大化してきた。それと同じことが、センサーの塊が走り回る社会で新たなビジネスを必ず産み出すことは間違いない。それが具体的に何なのかはやってみないと現時点では誰にもわからない。
少なくとも車内で映画やゲームをするよりも大きなビジネスであると考えるのが自然だ。妄想を膨らますのであれば、こうしたビッグデータが産み出すビジネスによって、クルマや燃料代（ここでが電気代だが）がタダになるかもしれない。SHMやその他のモビリティーメーカーだけではなく、クルマとは無関係なサードパーティー、ここまでのGoogleのような企業がエコシステムを構築できる可能性もあり得るはずだ。
さらにSHMは、Unrealだけではなくもっと重要なパートナーとも連携を行う。それはQualcommだ。収集したデータの処理や様々な通信を行う際にはQualcommSoCのパワーは計り知れないものがある。その重要性と力の入れようは、プレスカンファレンスにCEOのCristiano Amon氏が自ら登壇したことに現れている。
一貫してビジュアライズというキーワードで説明
このように、CES2023におけるソニーのプレゼンテーションや展示は、一見バラバラな展示に見えてしまうかもしれないが、目を凝らすと一貫してビジュアライズというキーワードで説明をすることができる。
これは デジタルテクノロジーの中でも視覚に関連する部分が非常に重要であり、また実は取り扱いやすいことが背景にあるからだ。AVメーカーであるソニーの本領発揮というべき時代はこれからもイノベーションを繰り返しながら進展していくのだと感じる。
これはソニーのようなポジションや背景の企業に限ったことではなく、何を、どこに、どうやってビジュアライズするのか。そのフロー中における自身のポジショニングを明確にすることが大切だと思う。
今回のソニーのプレスカンファレンスの模様は、こちらの公式YouTubeをぜひご覧いただきたい。きっと本稿の深読みが絵空事ではないことがわかっていただけると思う。
