DeepMind的Zahavy:LLMs無法跳躍,但世界模型或許可以
google deepmind的tom zahavy發表了'llms can't jump',認為語言模型缺乏真正的科學發現和理論發明所需的'操縱性溯因'。
Google DeepMind 的 Tom Zahavy 發表了「LLMs Can't Jump」,認為語言模型缺乏「操縱性溯因」(manipulative abduction)所需的認知機制,無法實現真正的科學發現。Zahavy 認為,LLMs 在演繹和歸納方面表現出色,但無法進行創造性的飛躍,以發明新的公理,而不依賴於預先存在的語言模板。他以愛因斯坦為例,後者通過具身模擬(embodied simulation)推導出相對論,而不是通過數據優化。這意味著,未來的進步需要整合世界模型或具身 AI,而不是擴大統計模式識別。