映像表現と気分のあいだ

唐突だが、皆さんはお手持ちの本やカメラロールの写真、音楽、あるいはお気に入りの映像などを、どんな仕分けによって整理しているだろうか。例えば本だったら、お気に入りの著者名で本棚に整理している人は多いだろう。しかし著者名をアイウエオ順にし図書館のように分けている、という人はそうそういないだろう。

自分がよく読む本として頻度に応じて仕分ける、こういうやり方もある。でも何度手に触れたのか、それを計測し頻度算出してちゃんと並べ替える、なんていう人は少ないだろう。整理法のひとつで、最近読んだものを最後尾に並べ、履歴をもとに並べていくというのもある。

もうあらかたの方々はスマホのmusicライブラリだろうが、音楽データには何らかのタグ付けをしているだろうか。写真やYouTubeライブラリはどうだろう。うーん面倒、という人が多いのではないだろうか。人によっては、サービスが提供する自動の整理タグに仕分けを委ねているかもしれない。その方が便利だしそれでいいじゃん、という考え方のほうが、今後の世の中では合理的でスマートなのかもしれない。

一方で、いやそこは自分の感性でちゃんと整理したい、という考え方もあるだろう。本屋さんのジャンル分けのようなものでもなく、自分なりの読後感や「ぽさ」のタグで自分だけの本棚を作る、みたいな感じだ。例えばPinterestなどは、ちょうどこの中間、ソーシャルタグに乗っかってもいいし自分でタグを作ってもよい、というものになっていてなかなか興味深い。

量的データと質的データ

ここまでで何を言いたかったかというと、頻度や履歴など数量(や順序)でしわける「利便での生活情報の仕分け」と、自分の感性つまり「ぽさ」で仕分ける「意味での生活情報の仕分け」をまず区別しておきたかった。

というのも、これらは根本の思想が結構違うのだ。すごく雑駁に言うと、対象の情報を量的データとして扱うのか、質的データとして扱うのか、という違いがあるのだ。今回は、意味体験についてその研究史を概観してみるのだが、これは上に述べたような情報の整理の仕方、つまり情報を量で仕分けるか質で仕分けるかという2つの流れを見定めることにもつながる。

同時に、現在のコンピュータ処理において、アルゴリズムが情報を「質的に」どこまで仕分けられるのか、「私たちの望み通り」に仕分けられるのか、ココについてが実は今後の大きなテーマになることも見えてくる。

そもそも、「私たちの望み通り」とか言っても、そんな「望み」は生活環境に相当程度依存しているのも確かだ。ということは、スマート&デジタル環境がどんどん進めば「望み」だってその環境の下、勝手にどんどん変形されていくのかもしれない。このあたりは最後にもう一度見ていくことにしたい。

意味体験ということばの整理

さて前回は、TVCMにおける意味体験=「ぽさ」「感じ」のタイプが、私たちの日常生活を彩るモノ・コトがもたらす色々な「ぽさ」「感じ」と多くの場合紐づく、という話を述べた。ここでいったん、話がフワフワしないように、筆者のいう「意味体験」という言葉が何を意味しているかを明確にしておく。

意味体験とは、対象(モノ・コト・ヒト・空間、マルっといえば「情報」)の催す暗黙的な意味の記号(やや盛って言えば、欲望的な意味の記号)を、受け手側もまた暗黙的に感じとる、という⼀連のプロセスのことである。よりシンプルには、私たちが毎日毎瞬行っている「暗黙の記号認識」それ自体を指すと言ってもよい。

「モノ・コト・ヒト・空間」の情報入力によって私たちが意味体験、つまり「暗黙の記号認識」をし、その結果として何らかの「読後感=キブン」をもつという関係になる。図式的にいえば①対象の入力→②暗黙裏の「ぽさ」の発動→③読後感やキブン、ということだ。とにもかくにも、重要なのは②の部分だ。

第一回目ではこれをザックリと、モノやコトやヒトや空間に感じる「感じ」や「ぽさ」だと表現した(そして「感じ」や「ぽさ」のタイプをマップ化したモデルを紹介した)。このことを別の視点で見ると、私たちは対象(モノ・コト・ヒト・空間)をそのまま認識しているわけではなく、何らかの暗黙の記号(=意味体験、ぽさや感じ)に変換して認識しているということになる。

この観点から言うと、私たちは生活空間をすべて記号によって捉えている、ということすら可能になる。これは後述する研究者、J.S.パースの考え方である。同様に、20世紀の消費社会についてはフランスの社会学者J・ボードリヤールが「記号にならないものは消費されない」という言い方をしている。

ここでいう記号は、暗黙の記号(=意味体験)だろう。⼀⽅で、今の生活空間は(モノだけでなく、行為も空間もすべてが)どんどんデジタルデータに移換されている最中である。データは当然数値の記号なので「⽣活空間はすべて記号によってできている」といわれるとその通りと思ってしまうかもしれない。

だがこれは数値の記号であって、暗黙の記号(=意味体験)ではない。では私たちは生活空間をすべて数値の記号によって捉えるようになっているのだろうか。これはちょっとドキっとする問いでもあるが、まあほとんどの人々はそうなってはいないだろう。

暗黙の記号=意味体験と数値記号、は先に述べた通りそもそもかなり異なるもので、前者は質の記号、後者は量の記号ということになる。パースやボードリヤールの言っていた記号は概ね前者を指していたのに、いつから後者の意味合いが優勢になったのだろうか。それはコンピューターの社会浸透とどう関係しているのだろうか。

意味体験の研究系譜 スピノザとライプニッツ

こんな疑問を前提に、「意味体験」をめぐる研究の系譜を、以下独断かつかなり雑駁にはなるが述べていきたい。ざっくりと、そういう流れなのか、ということがみえればひとまず幸いだ。

意味体験を論じた先達として、まずはアリストテレスを挙げておこう。釈迦に説法ではあろうが、この人は本当に、ありとあらゆるエッジなテーマを一滴もらさず先取りした、恐るべき先達である。彼は感覚と思考の間に「表象」というものを置き「表象は感覚なしには生じず、判断は表象なしには生じず」(霊魂論 第三章)とすでに記している。この表象というのが、上の「暗黙の記号」の認識とほぼ重なってくる。

おしなべて、教会権力の強かった古代中世においては、神こそが諸物の原理とされた。だからアリストテレスのような、信仰にはよらず観察からモデルをつくるタイプの思考は、本質的にそぐわなかった。

一部のスコラ哲学者や大学研究者の間では熱心に研究されたが、専らこうした科学的な見方と神への信仰をどう両立させるか、に心血が注がれた。そうしたわけで、⼈間の意味体験についての考察などはあまり進まなかった、そう捉えて良いだろう。

というわけで、恐縮ながらいきなり時代を一挙に17世紀に飛ばしてしまう。ここにスピノザとライプニッツという2人が登場する。

スピノザは認識論に関心が高く、「エチカ」という大著の中で人間の認識メカニズムを細かく考察している。ここでスピノザは認識を、ざっくりいえば「感覚的な認識」「意味的な認識」「直観的認識」という3種分けている。誤解をおそれず平易にいえば、生物的な認識、普通の社会生活的な認識、抽象的(神の子的)な認識とでもいえるだろうか。

先に紹介したアリストテレスの「表象」には、スピノザのいうこの3種が存在する、ということに近いと筆者は捉えている。そして、3つ目の「直観的認識」が抽象性と無意識性の点で意味体験に近いと考えている。


スピノザは、対象が私たちに引き起こす変様のことをアフェクチオ、その結果私たちが引き起こす心理的な変容のことをアフェクタスという概念で語っている。結構細かくモデルの仮説をやっている。スピノザのいうアフェクチオでは、その対象の向こうに全知の神の存在あり、という含意がある。一方私たちがこれまでみてきた意味体験タイプは、その向こうに消費の神話や人間・社会の欲望、すなわち社会的主観の総図がある。

このように、消費社会以前のキリスト教社会における記号認識と、今のそれとは「含意」すなわちその記号性を生成する主体が何者なのか、という前提が大きく異なる。とはいえその違いを除けば、スピノザの認識論は意味体験を考えるモデルとしては精巧で、そして先見性に満ている。

さて一方で、同時代のドイツ人学者ライプニッツは、少し上の世代にあたるフランスの思想家デカルトの認識論を批判しつつ、認識とは自分のアタマに元々あるものではなくて、あくまで(入力情報との)関係性の中から生じるものと考えた。関係性とは本連載タイトルの「あいだ」と同じ意味合いである。当然ながら彼もまた意味体験領域のことを強く考えていた。

ところで、ここでのライプニッツの独創性は、意味体験をいろいろ組み合わせて演算すれば新しい物語=世界が作れるのではないかという、その思考方向にあった。彼は二進法を考案し、現在のコンピューターやAIの理論的な祖と考えられてもいるが、そもそもその計算理論は、数値記号に対してだけにとどまってはいなかった。

彼は意味体験(観念)を記号化し、それを組み合わせて計算していけば、人間にとって新たな世界を作ることができる、という考え方を早くも20歳で論文化している(結合法論)。文芸その他、人間の意味体験を記号操作してさまざまな生成にも繋がる、この組み合わせ=結合による方法論をアルス・コンビナトリア=結合術という。


⾔ってみればこれは、コンピューターに「ぽさ」「感じ」のデータベースを組み、それをベースにして組み合わせによる記号操作や演算をし、なんでも自在に創造していく、まさにそんな方法論である。

ただそのためには「ぽさ」「感じ」のデータベース、つまり「なんか似ている」という類似性、すなわちアナロジーに基づくデータベースが必要だったであろうが、結局そういうことには至らず、割とカタめな観念の演算理論に少し手を付けて終わりな感じになっている。もしこうした考えや理論化が強力に引き継がれていたら、今の計算理論はもっと違う形になっていたのかもしれない。

ところで、「ぽさ」「感じ」のデータベースということを述べたが、こうした類似性(アナロジー)によるデータベースが未だに世界にはできていない。だから、第一回に示した「昭和っぽい」とか「ギリギリ感」で検索しても、それっぽい画像は検索できないというわけである。

当然、あまりにも検索ワードの解像度を上げて「オレの感じるたおやか感」とか「ワタシが子供時代に好きだったオネムな感じ」とかまで拡大すると私的なニュアンスだらけになり、収拾がつかないだろう。ある程度、社会的主観に基づく共有可能なアナロジーがまず検索可能になる、という流れがまず必要だろう。それでもなお、「ぽさ」「感じ」のデータベースはいまだ明確に実装されてはいない。

意味体験の研究系譜 パースとフッサール

さて話を戻そう。19世紀終盤になると、米国人パースが記号論を提唱、記号の体系をほぼ独力でまとめあげる。先述の通り、パースは人間の思考すべては記号によってなされている(つまりすべてが意味体験によってできている)と述べ、対象と私たちの間には記号が絶必である、ということで三項関係のモデル(対象ー記号ー解釈項)を提唱した。

さらに、記号をさまざまに分類・定義し、それらの機能を明らかにした。代表的なものが指標記号ー類像記号ー象徴記号という種別だ。ここでは詳述しないが、この辺は興味を持たれたらざっとでいいので把握しておくことをオススメする。特に映像クリエイターの方は、自分のやっている手癖が客観的に要素分けでき、マンネリから脱皮できるかもしれない。


パースの記号論は、時を違わず出てきたソシュールによる記号論とよく比較される。簡単に言えば、ソシュールの記号論が主に言語を中心として扱ったのに対し、パースの記号論は非言語の映像や音などにも応用が効くようになっている。

パースの著作を読むと、たしかにさまざまなシチュエーションの例が出てきて「これこれこういうシチュエーションが醸してる感じが、記号的にはどの辺なのかみてみよう」的な例示がたくさん出てくる。映像の分析などでもパースの記号論はかなり機能するはず(Gドゥールーズの「シネマ」 などは近い方法論をとっていると思われる)で、ネット時代の今こそ、さらに再読されるべき理論モデルだろう。

さて意味体験の文脈においては、この同時代にはもうひとり、現象学の始祖であるフッサールが重要だ。

フッサールもまた、人間は対象をそのまま見ることができず、必ず志向性によって何らかの意味付けを行っていて、その結果が現象として私たちに認識されるとした。このあたりはパースとフッサールはかなり類似している。

ここでいう志向性というのは、意味体験する=対象の暗黙的な意味記号を感受することとほぼ同じで、TVCMや「モノ・コト・ヒト・空間」を"意味体験を経由して"感受しているということに酷似している。また、こうした意味体験たちを私たち自身で直に抽出する態度を彼は「現象学的還元」と言っている。


この現象学的還元では、対象の「モノ・コト・ヒト・空間」を⼀旦消去して、そこに残った「感じ」「ぽさ」だけを自分自身で抽出する。これはまさに、意味体験のタイプ分けを見極める態度と言えるだろう。これによって、第⼆回に述べた「回帰」とか「武装」のような抽象的な意味体験タイプがほんのりと見えてくるようになる。

意味体験タイプはフッサールの用語では「志向性」というものに近似している。さらにフッサールは意味体験のマップ=CCTマップあたりまで発展していく。それが「間主観性」という考え方だ。すなわち(第五回に述べた)自分の意味体験タイプのマップ(全体図)と他の人たちの意味体験タイプのマップって実はそうそうかわらない。そこには共有的な「間主観性」というものがある、ということを彼は主張している。

もうすこし正確に⾔うなら、私たちは相互に影響しあって存在しているのだから、対象を主観的にどう感じるか、というのも結局かなりな似姿になり、それが先に述べた社会的主観をつくっていくということだ。

前回述べたように、映像表現はじめ、クリエイティブや表現の多くはこの社会的主観を前提にしている。その上で、あくまで社会的主観との関係で軽く裏切ったり予想を超えたりというゲームをしている。(ちなみに「軽く」ではなく「完全に」社会的主観にとって想定外のもの、例えばコロナウイルスのようなものだと、もはやクリエイティブだ︕とは思われないのが普通だ)。

ちなみに、先に少し触れたが、「社会的主観」や「間主観性」には、社会がもつ欲望がそのベースにある。意味体験タイプのマップは、その意味で欲望のマップとかインサイトのマップと同じだ。これは当然、時代時代によって内容が変化する。マップ自体が変わるというよりも、前回記したように、モノ・コト・ヒト・空間がマップ上で紐づく先を変えるということだ。

また、新たに入力されマップに紐づけられていくモノ・コト・ヒト・空間、あるいは広告やコンテンツによって、どの意味体験タイプが「押されやすいのか」というパワーバランスも変化する。

モノ・コト・ヒト・空間の紐づき先の変化や「押されやすいタイプ」の変化、これらの周期がどうなっているのか、ということを明瞭に説明するのは難しいが、「風の時代」とか「フォースターニング」といった世代交代的なタームとは関係がありそうだし、当然ながらテクノロジーやメディア環境、今回のようなパンデミック、あと戦争などが大きく影響しているだろう。

意味体験の研究系譜 20世紀の流れ

さて、話を続けよう。パースとフッサールまでは述べた。その後も「ぽさ」「感じ」についてはゲシュタルト心理学やそこから影響をうけた「アフォーダンス」の理論(J.J.ギブソン)、パターンランゲージ(アレグザンダー)、ヒューマンインターフェース、ユーザビリティ(D.A.ノーマン)へと、1960~70年代に至るまで意味体験を記述抽出したり、そのパターンを解明する研究の流れが続いていく。

これらはみな多かれ少なかれ、現象学や記号論、それらを受けて誕生した文化人類学や構造主義の考え方などから大きな影響を受けている。

ギブソン研究の第一人者によるアフォーダンス理論の解説書
パターンランゲージの提唱者C.アレグザンダーの著書
ユーザビリティやUXの提唱者ノーマンによる「ユーザー中心主義」を提唱した書(1988)

皆さんも経験があるかもしれない、今やポピュラーなアイデア創出方法である川喜田二郎先生のKJ法も、こうした系譜に紐づくと考えてよいだろう。また、エスノグラフィをはじめとするフィールドワーク、「質的研究」といわれるボトムアップな仮説構築モデル(グラウンデッド・セオリー)もこうした系譜に連なり、現在もなお諸研究が続いている。

また、環境との情報交流を文化人類学的なベースから論じ、60年代カルチャーを代表する米国の思想家グレゴリー・ベイトソンもこの流れの近傍にいるだろう。彼は「科学者が情感の演算規則の解明を手がけるべきだ」と説いている。ベイトソンと同時代には、消費社会と私たちの記号関係を社会学的なベースから論じたジャン・ボードリヤールも卓見であった。

先述した通り、彼は「いかなる商品も記号によってのみ消費される」と説いたし、産業や社会によって意味体験が過剰に生産され、速射されることによって「あらゆる欲望が、失われたり抑制されたりすることによってでではなく、むしろ充足されてしまったということによって、われわれは、われわれ自身の欲望を、いわば接収されてしまった」と言っている。

数理と人文の分離

ここまで読んでみて、こうした意味体験の研究系譜と20世紀中盤以降のコンピュータ科学の流れはどこかで結びつかなかったのか、と思われる方もいるだろう。長くなるので結論的に言えば、そもそも19世紀末において、数学と人文系学問が決定的に分離してしまったことにその根があり、結局未だに結び付いていないということになる。

数学は19世紀中盤以降、論理学との融合によって劇的にブレイクし、再帰論や集合論など方法論の進化とともに抽象度をグングン上げていった。ここで中核となったのが今でいうならアルゴリズム、論理に基づく数字記号の高度操作だ。(この頃はまだ、コンピューターはできていない)。

こうして抽象化していく数学に対して、人間の生活世界での実感と遊離していくことを懸念する者もいた。フッサールもその1人だった。数学者の道を歩むはずだった彼は、確信をもってここを繋げようとした。生活実感と数学を架橋する(いわば質と量を架橋する)ポイントとして、なんとか意味体験の部分をモデルにし記号化していきたかったのではないかと思う。

もしフッサールの現象学で社会的主観がモデル化され、先のライプニッツのような「意味体験の記号演算」が試みられ、数値演算だけでなく意味体験の演算もできるコンピューターが出てきていたら、情報テクノロジーの現在は相当違うものになっていただろう。

しかし20世紀には結局そういうことは起きず、チューリングの理論とノイマンの実装によって、数値演算のみを対象にしたコンピュータ―ができる。これが1940年代終わりのことだ。

ここからはいろいろあって、まずコンピューターの計算スペックはムーアの法則によって順調に高速化していく。同時に、パーセプトロンなどの探索推論、エキスパートシステムなどの知識ベースによる計算を経て機械学習、ディープラーニングへと演算処理のモデルもどんどん進化していく。脳の働きも演算処理的アプローチでの再現が試みられるようになる中、意味体験研究の系譜はこうした動きとはセパレートされ、非主流(the other side)化していったようにみえる。

意味体験は還流するのか

このように、フッサールも感じていた「数学と生活実感=意味体験との遊離」はどんどん進んだ。挙句に、21世紀初頭にネットやスマホの出現で「まず調べる」という行動様式がスタンダードになると、当然「より早く」「より安く」「より近く」という、そもそもが数値に還元しやすい指標が生活意識を覆い、消費の現場には数値が跋扈するようになる。

私たちの行動様式自体が、ここのところどんどん数値主義的になっているのも、こうした環境設定によるだろうということは想像に固くない。数値を突き付けられると焦るし、急ぐし、心穏やかではいられない。ゲームのルールがどんどんコスパに一元化していく。

さて冒頭にもどれば、本棚の本をいい感じに仕分けてくれるような助言サービスも、購買記録をもとにできるのかもしれない。あなたの好きそうな映画をレコメンドしてくれる、みたいなのは割と近いラインに来ている。あなたの履歴を参照して、次に何を見たかの世の中データから判断してレコメンドすればかなり当たる。少なくとも⾒てくれ上は「量で質を推測することが可能」というわけだ。

ぼーっとしていると、学習したAIによってあなたの欲しい「ぽさ」とか「感じ」が先取されて提示されてしまうし、あーそうかこれでいいじゃん、ということになってしまう。

それを拒絶して逃げる、というのはあるが、テクノロジー環境は圧倒的なので、おそらくそうした拒絶は個人的な撤退戦以上のものにはならないだろう。映像コンテンツもまた、社会的主観をなんとなく感じてそれにあわせた映像を作って数を稼ぐ、ということがこれまで以上に前面化し、すべてが数量化され、数値で評価がなさていくだろう。だから重ねてになるが、数値が質を語っている、ということが正しいような気もしてくる。

2020年総括 動画再生数TOP10
動画再生回数ランキングには数字が躍る(2020年総括 動画再生数TOP10 資料:BitStar)

その時、映像表現とかクリエイティブって何だっけ?ということを根詰めて思考実験すると(というか随分前からそういう状況だと思うが)クリエイティブはAI時代になっても安泰だ、大丈夫だ、と考えて野放しにして、逃げ切りで生きるのもいいけど、いやそうとも限らないかも、と考えて色々とサバイブの方法を考える、というやり方もあるだろうし、元プロデューサーとして筆者はそういうことを考える側にいたい。

筆者が意味体験を類型化したりマップにしたりしているのは、割と金太郎あめ化してしまっている「ぽさ」「感じ」をまずは大別して、そこをよくよく見切りつつ、それでも社会的主観とは多少なりともずれていくような自分の「ぽさ」「感じ」を今⼀度確かめたり発見していくことが個々人、特に表現者にとっては大切なんじゃないかと考えているからだ。

感覚を自分のものとしてサバイブさせていくためにも、いやだからこそ、モデルやマップで大まかにその質的な位置を確認してみることが大切ではないか。あるいは、たとえばライプニッツの結合術のように、この意味体験とこの意味体験を足しこむとこんな発想になるな、というようなトレーニングを常にできるツールだって、クリエイティブをジャンプさせる契機になるだろう。

それと同時に、暗黙的な意味やニュアンスによって情報を分別する、ということはコンピューティングにおいてはまだなかなか実装されていないけれど、暗黙的な意味やニュアンスのモデルによって教師データをたくさん入れて学習させていったら実装がされるかもしれないぞ、その時に例えば情報配信のロジックはどうなるんだろう、その場合膨大な組み合わせを演算して、新しい意味体験をシステムが自動で創造していく可能性だってないとは言い切れないだろう。そういうことも考えておきたくなる。

可能世界とか、The other sideとか、別の世界を想像するよすがとして、いかにマーケットに追いつかれない自分なりの意味体験を保持していけるのか。たぶん、映像コンテンツでも表現全般でも、当然だがそういうことが大事になるだろう。

こんなことを考えつつ、次回はこのようなクリエイティブやアートを支えてきたメディアの流れについても、簡単におさらいしてみようと思う。

WRITER PROFILE

佐々木淳

佐々木淳

Scientist / Executive Producer 旋律デザイン研究所 代表 広告制作会社入社後、CM及びデジタル領域で約20年プロデュースに携わる。各種広告賞受賞。その後事業開発などイノベーション文脈へ転身、新たなパラダイムへ向けた研究開発の必要性を痛感。クリエイティブの暗黙知をAI化するcreative genome projectの研究を経て「コンテンツの意味体験をデータ化、意味体験の旋律を仮説する」ことをミッションに旋律デザイン研究所設立。人工知能学会正会員。 http://senritsu-design.com/