1ページ目から読む
4/5ページ目

なぜAI研究に物理学賞? 生成系AIを生んだ研究

 さて、今回対象になったのは、ジョン・ホップフィールドとジェフリー・ヒントンの二名の業績である。ホップフィールドは2021年度の対象の一つになったスピングラス理論からヒントを得て、脳の神経回路を模したANN(人工神経回路)を作った。いわゆるホップフィールド・ネット(HN)である(図1)。 

 

                     ジョン・ホップフィールド氏
            https://commons.wikimedia.org/wiki/File:John_Hopfield_2016.jpg

 

ADVERTISEMENT

 脳のニューロン(神経細胞)をネットワークを構成する個々のノードと見立て、ノード間を全結合し(回帰型ニューラルネット、略してRNN)、結合の強さはランダムに選ぶことができ、スピングラスの統計物理理論が使える。これをもとにして、パタンの記憶をエネルギー関数の小さい値(極値)に対応させることで記憶状態をアトラクター(周りを引き寄せる吸引体)として表現した。そしてこのANNにどの程度の記憶が埋め込めるかを試算した。HNは連想記憶のモデルである。

 ホップフィールドの提案以前に日本を含めて世界中で連想記憶のANNモデルは提案されていた。にもかかわらずなぜ委員会はそれらに注目しなかったのか。HNのインパクトは、連想記憶モデルはスピングラスに類似の振る舞いを示すANNによって作られるということを示したことだった。それゆえスピングラスの研究で発展した高度な統計物理理論が使えて、記憶容量などを理論的に導くことができることになる。そして、ホップフィールドはそれを実行した。

【図1】ホップフィールドネット(HN)
丸はノード(ニューロンのモデル)、矢印付き線分はノード間の結合を表す。結合の強さを記憶パタン(ノードの状態パタン)に対する各ノードの相関で決める(ヘブルールという)と記憶パタンはアトラクターとして表現できるので、記憶パタンの一部が欠けたような、あるいは全体がぼやけたようなパタンを入力するとニューラルネットのダイナミクスは記憶状態に収束して安定化する(連想記憶)。