Sutton 稱合成資料是 AI 擴展的「重大錯誤」
強化學習先驅 richard sutton 聲稱，由於模擬相比無限複雜的現實世界僅是「微觀的」，合成資料會成為 ai 擴展的瓶頸。
**Richard Sutton** ，這篇有影響力的「**Bitter Lesson** 」論文的作者，對使用合成數據來解決LLM擴充瓶頸的做法表示批評，稱其為一個「大錯誤」，這種做法會重新引入人類瓶頸。 **Sutton** 引用了「**Big World Hypothesis** 」，解釋說由於世界具有無限的複雜性，任何模擬都只是「微小的」，無法準確地代表現實或其他智能體的思想。他主張使用能夠不斷從自身經驗中學習以建立動態世界模型的智能體，而不是依賴人類策展的模擬。 **Sutton** 結論認為，儘管大型語言模型是一項科學突破，但目前它們僅代表「20% 或四分之一的智慧」，因為它們的權重在訓練後保持凍結。