対して、ジェフリー・ヒントンはノードの状態確率を統計物理のボルツマン分布に従って出力するボルツマン・マシーン（BM）を、深層学習研究のパイオニアの一人であるテレンス・セイノフスキーらと共同で考案した。彼らは可視化層と隠れ層を用意して、可視化層のみが入出力を担うとした（隠れ層は直接入出力情報を受け取らないのでその名がある。中間層とも呼ばれる）。また、全てのノードが結合すると仮定した。これは計算上効率的でなく、のちに彼らは制限ボルツマン・マシーン（RBM）を提案した（図2）。
https://commons.wikimedia.org/wiki/File:Geoffrey_Hinton_at_Collision_2024_in_Toronto_(cropped).jpg
RBMでは可視化層、隠れ層それぞれの層内でのノード間の結合をなくし、可視化層と隠れ層の間にだけ全結合があるとした。これで性能はずいぶんと良くなったが、これはいわゆるフィードフォワード型のニューラルネット（いわゆる1950年代にフランク・ローゼンブラットによって提案されたパーセプトロン ）そのものである。隠れ層の数を増やしていけば、現在の生成系AIの原型である深層神経回路になる。
この先駆は福島のネオコグニトロンである。深層神経回路の学習はバックプロパゲーション（BP、誤差逆伝搬法）と呼ばれているもので、出力層のノードの状態と望ましい状態との誤差を計算し、誤差を出力層から入力層に向かって逆向きに伝搬させていく方法である（図3）。このとき、誤差を結合の重みなどで微分して勾配を求め、勾配によって重みなどを変化させていく。この方法はBPの提唱より20年ほど前にB.ウィドローら（2層の場合）や甘利（3層以上）によって提案されていた“勾配法”と本質的には同じアルゴリズムであるので特段目新しいことではない。深層学習の基本というならば甘利の方法が先駆的である。
入出力は可視化層のみで行われ、結合は可視化層、隠れ層間のみにあり、ボルツマンマシーンにはあった層内の結合はなくしている。
RBMの可視化層を入力層と出力層に分離して、前向き結合（フィードフォワード）のネットワークとして表現しなおした。中間層である隠れ層の数を増やしたものが深層神経回路で、福島のネオコグニトロンが先駆である。深層学習は出力ユニットの誤差を逆向きに伝搬させ、誤差と関係したすべてのユニット間の結合を修正することで行われる。甘利の勾配法が先駆である。
深層神経回路をさらに強力にしたのは、長短期記憶（LSTM）回路とアテンション機構（Transformer）の追加であろう。LSTMは回帰型ニューラルネット（RNN）により実装されるが、回帰回路の時間ステップを多層のフィードフォワード回路に置き換えて、さまざまな長期、短期の記憶が可能になる深層神経回路が作られた。また、ホップフィールドの連想記憶におけるアトラクターダイナミクスは画像や文章のある部分にだけ着目するアテンション機構として再利用された。これにより、格段に処理スピードと計算可能な関数の容量が上がったと考えられる。
また、ホップフィールドらはHNのように結合重みの変更による学習ではなく、記憶パタンとネットワークの状態の内積（記憶に近いかどうかの指標）によって記憶の重み付けをして出力とすることで、記憶容量をノード数の指数関数で増やせることを理論的に示した。この「現代版HN」は生成系AIが膨大な数のパタンを学習できることを可能にしたのだ。
