「本人が幸せであればいい」は危険な考え
松尾 一方で、脳の報酬系、内分泌系を変えられるようになったら、本能や感情といった昔ながらのくびきを逃れられる可能性はあります。そうすると、「長時間仕事をする」とか「苦しい思いをしてでも人助けをする」とか、一見楽しくなさそうなことにめちゃくちゃ喜びを感じる人をつくれちゃうんですよね。仕事をしたり、人助けをしたりすると、快楽を感じる人になる。
加藤 企業がそういう人をつくろうとしたらやばいですね。
松尾 政治や宗教と結びついてもやばいです。これって、その人自身は本当に幸せを感じているんですけど、じつはコントロールされてるんですよね。
平野 「本人が幸せであればいい」ってかなり危険な考え方ですよね。でも、むずかしいんですよ。自分が本当にそう思ってるのか、構造的にそう思わされてるのかって、判断しづらいから。
松尾 コントロールされていることに気づくのは相当むずかしいですが、やっぱりディストピアへ向かうのを阻止するのは、知性や思想、教養だと思います。知識を蓄え、物事をさまざまな角度から見られるようになると、一見快楽に感じることが、果たして本当にそうなのか疑えるからです。
加藤 ここで、視聴者からの質問を取り上げます。「人間は死に対する恐怖がありますが、機械はいずれ電源が切られることを恐れるようになったりしますか。好き嫌いみたいな判断が機械にもつきますか」。
松尾 基本的には、両方ともノーですね。人間は進化の過程で強烈な淘汰圧を受けています。生き残ったものは、生き残ることに対して非常に強い意志を持つ。だから、死がこわい。そして死への恐怖以外にも、生き残るために役立つ感情を持っています。でも、コンピュータは人工物なので、自己再生産もしないし、死ぬこともありません。恐怖や好き嫌いはもたないですよ。
平野 ロボットに、壊れないために事故を避けるプログラムを入れて学習させたら、結果的に人間が死を避けようとするのに似た行動を取るはずですよね。それと同じように、擬似的に感情っぽいものを入れることはできるんじゃないでしょうか。何か嫌なことがあったりしたときに、情報処理速度が遅くなるようなプログラムをしておくとか。そうすると、好き嫌いみたいなものが表れそうです。
松尾 そういう行動を目的関数として与えたら、何かのタスクが上達するのと同じように、感情があるように見える行動がとれるようになるかもしれません。でもそれは、AIに感情が備わったというわけではないんですよね。
