Sutton氏、合成データはAIスケーリングにとって「大きな間違い」と主張
強化学習のパイオニアであるRichard Sutton氏は、シミュレーションは現実世界の無限の複雑さに比べて「極めて微小」であるため、合成データがAIスケーリングのボトルネックになると主張している。
リチャード・サットン（Richard Sutton）、有力なエッセイ「The Bitter Lesson」の著者であるサットンは、合成データへの依存をLLMのスケーリングボトルネックを解決するために批判し、それを人間のボトルネックを再導入する「大きな間違い」と呼んだ。サットンは「ビッグワールド仮説（Big World Hypothesis）」を引用し、世界は無限に複雑であるため、シミュレーションは「微小な」ものであり、現実や他のエージェントの心を正確に表すことができないと説明した。サットンは、人間がキュレートしたシミュレーションに頼るのではなく、動的な世界モデルを構築するために自分自身の経験から継続的に学習するエージェントを提唱している。サットンは、大規模言語モデルは科学的なブレークスルーであるが、現在は訓練後の重みが固定されたままであるため、「20％または4分の1の知能」しか代表していないと結論付けている。