文春オンライン

人間と人工知能の決定的な違いとは? 『スター・ウォーズ』R2D2以前に作られた“3つのロボット”の失敗物語

『私たちはAIを信頼できるか』より #2

source : 文藝出版局

genre : ビジネス, サイエンス, テクノロジー

note

続けて開発したR1D1、R2D1も爆発……なぜなのか?

 どうしてこんなことになってしまったかというと、同じワゴンの上に爆弾も乗っていたからだ。R1は、そのことに気づかなかったのかといえば、そうではなかった。R1は、ワゴンの上に爆弾が乗っていることをしっかりと認知していた。R1が認識できなかったことは、ワゴンを引き出せば、同時に爆弾も持ち出したことになる、ということである。

 R1の問題は、自らの行動の直接の結果――意図された結果――しか推論できなかったことにある。行動には、さまざまな副次的な結果が伴う。そこで、行動を起こす前に、副次的な結果をも推論できるように、設計者たちはロボットのプログラムを書き換えた。そうしてできあがったのが、R1D1である。この新型ロボットは、R1と同じ問題に直面したとき、やはり、「ワゴンを部屋から引き出す」という行動を起こせばよい、ということにすぐに思い至った。

 その後、R1D1は、新しいプログラムにしたがって、副次的結果を演繹しはじめた。ワゴンを引き出せば、車輪が回転する、ワゴンを引き出せば、音が出る、ワゴンを引き出しても、部屋の壁の色は変わらない、等々と。そうこうしているうちに、時間切れになって、爆弾が爆発してしまった。

ADVERTISEMENT

 再び設計者たちは考える。R1D1のどこに問題があったのか。設計者たちはこう結論する。「ロボットに、関係がある結果と関係がない結果の区別を教えてやり、ロボットが、課題に関係のない結果を無視するようにしなくてはならない」と。そこで、その時の目的と照合して、関係があるかないか、という区別を演繹するプログラムを開発した。

 そのプログラムを備えた第3のロボットがR2D1である。ところが、R2D1は、同じ状況に直面して、まったく行動を起こそうとしない。なぜか? このロボットは、無数の無関係な結果を演繹しては、それらをいちいち「無視する」のに忙しくて、行動に移ることができないのだ。ロボットが「無視する」のに忙殺されている間に、時限爆弾は爆発した。

 デネットの、以上の思考実験に登場する3つのロボットを挫折させている問題、それがフレーム問題である。どのロボットも、フレーム問題を克服できずにいる。フレーム問題は、次のように定義できる。ある行動を遂行する際に、関係がある(レリバントな)事項を無関係な(イレリバントな)事項から、十分に効率的に区別し選択することは、いかにして可能か。今やろうとしていることとの関係で、有意味なことと、まったくどうでもよい無関係なこととがある。前者だけを判別することができなければ、柔軟に、知的に行動することはできない。

 たとえば、今の例では、ワゴンを引き出すと、その上に乗っている爆弾も同時に引き出される、ということは「関係がある事項」である。しかし、ワゴンを引き出すと、ワゴンの車が回転するとか、ゴトゴトと音がするとか、壁の色に影響を与えないとか、ということは「関係がない事項」である。