今井 その頃に出たサットンのエッセイ「The Bitter Lesson」には「基本的にAI系の手法は人間が細々作り込むよりも、計算パワーに任せてぶん殴った方が最終的にうまくいく」といったことが書いてあります。当時の研究者はその考えに懐疑的でしたが、結局勝ったのは、人間のドメイン知識を排してひたすら計算資源をかけて巨大モデルをトレーニングする、というOpenAIが採用した方式でした。牛尾さんは、6年前のGPT-2って触ったことあります？
牛尾 いやー、ないですね。
今井 GPT-2はハッキリ言っておバカで、小学生レベルの文章問題も解けないんですよ。それがたった4年で、GPT-4で大学院の問題も解ける状況になった。大規模に学習しただけで、幼稚園レベルから大学院生レベルになった。だから、今のAI研究者は、GPT-2をGPT-4にしたような大規模学習でAIがAIを研究すれば、GPT-4からGPT-5に進化できるだろうと本気で考えています。
100の知能を持つAIが、101の知能を持つAIを生み出すとしたら、101の知能を持つAIから102の知能を持つAIが生み出せます。それを連鎖させていけば、100が1万になるような「知能爆発」が起こって、20世紀に起きたような大変化――核爆弾が生まれたり、コンピューターが生まれたような変化がわずか数年で起きるだろう、と予測するわけです。
「生成AIの性能は頭打ち」と言われる3つの理由
牛尾 ここでひとつ質問してもいいですか？ 僕は今マイクロソフトリサーチのAIの専門家の友達と一緒にアプリを開発しているんですが、スケーリング則（AIモデルの性能は学習に使われるデータ規模、計算量、モデルのパラメーターが増加するほど強化されるという法則）は正しいけれど、取得できるデータが限界に達していると聞きました。専門家はこの問題をどう見ているんですか？
今井 それはセンシティブなイシューですが、「もしかしたら生成AIの性能ってそろそろ頭打ちなんじゃないか」と研究者のあいだでも言われています。その理由は3つあって、まさに今言われた、そもそもスケーリングするデータが足りないんじゃないのかという説です。
2022年、エポックAIという調査機関が、このまま生成AIの開発を続けていくとどの時期にデータが枯渇するかを算出した論文では、ウェブ上で使えるテキストデータはマックスで3100兆トークンだという。とてつもない量ですが、このままAIが進化すると、良質なデータは2026年くらいまでに全部使い切り、2030年までには適当なデータも含めて全部使い切るだろうと予測しているんです。現行のGPT-4は十数兆トークンくらい学習していますが、3100兆というデータ量はあくまでも理想的にウェブ上の全てのデータを取れた場合の話ですから、実際に学習に使えるデータが数百兆くらいだとするとそろそろ限界という感じではある。
牛尾 そうなんですね。
