今の生成AIは人間の脳と比べると全然足りない
今井 スケーリング則は、学習の計算資源のニューラルネットワークの大きさと、学習データの量を同時にまとめて上げていくべきという考え方が前提にあります。今のGPT-4は1.8兆パラメーターですが、研究者として辿り着きたいラインは人間の脳のシナプスの結びつきの数と同じ100兆パラメーターです。
つまり、今の生成AIは人間の脳と比べると全然足りないので、もしニューラルネットの大きさを1.8兆から100兆にするなら、学習するデータ量も50倍以上にしないといけないわけです。するとウェブ上の現実的に取れるデータは全部使い切ってしまうことになる。
そして2つ目の理由に、スケーリング則自体がもう限界なんじゃないか？ データ規模、計算量、モデルのパラメーターデータ量の3要素が理想的に揃ってもAIの性能そのものに限界ラインがあるんじゃないかという説があります。
そして3つ目に、もっとも根本的な問題ですが、そもそもAIが賢くなりすぎたとき、人間の研究者はその賢さを計る術を持ってないという説があります。これはAI研究者同士、かなり真剣な議論が交わされていますね。
Open AIのサム・アルトマンらは、スケーリング則は終わってないという立場で、OpenAIの最新のモデル「o1」の推論時スケーリングなどもまだまだ賢くなると言う。でも、Google系列のアンソロピックという生成AIの開発企業では、すでにスケーリングの壁にぶち当たっているとも言われています。
牛尾 なるほど、非常に勉強になります。これからのプロダクトの進化を見れば、どっちが正解だったかわかるわけですね。
o1モデルを使ってみたら、「俺いらないやん！」
今井 はい。ただ、仮にまだまだAIの能力が上がっていくとしても、例えばo1は、博士号を取った人がようやく7割解けるような問題群を、医療分野でも9割方解いてしまうくらいに賢いモデルです。もうこれ以上パワーアップしても、実際使う人は限られてくるし、人間の認知のほうが追い付かないんじゃないか、とも言われていて……。
牛尾 o1モデルは、僕も実際に使ってみたんですけど、正直ビックリしましたね。僕はAzureの中身を作っているから分散システムの専門なわけですが、初期の頃に自分がつまずいていた課題を投げてみたんですよ。そしたら、最適解をo1 Proが打ち返してきた。のちに僕がかなりの時間をかけてたどり着いたアーキテクチャの改良法を。俺いらないやん！ と思いましたね（笑）。
今井 でもo1ってコーディングが弱いという話も聞くんですが、実際どうですか？
牛尾 確かにそれはそうです。僕が投げたのはアーキテクチャーの質問だったので、構造分析としてはo1 Proが断然素晴らしかった。ちなみに、性能的にo1はまあまあで、o1-miniでは足りない感じでしたね。
（後編へ続く）
