Sutton 称合成数据是 AI 扩展的“重大错误”
强化学习先驱 richard sutton 声称，由于模拟相比无限复杂的现实世界仅是“微观的”，合成数据会成为 ai 扩展的瓶颈。
Richard Sutton，这篇有影响力的“**Bitter Lesson**”文章的作者，批评了依赖合成数据来解决LLM扩展瓶颈的方法，称之为一个“大错误”，因为它重新引入了人类瓶颈。引用“**Big World Hypothesis**”，Sutton解释说，由于世界是无限复杂的，任何模拟都只是“微小的”，无法准确代表现实或其他智能体的思维。 Sutton不主张依赖人类策划的模拟，而是主张能够不断从自身经验中学习以构建动态世界模型的智能体。他总结说，虽然大型语言模型是一项科学突破，但目前它们只代表了“20% 或四分之一的智能”，因为它们的权重在训练后保持冻结。