為什麼 Sora 無法通過杯子測試:世界模型需要心智理論
一篇新論文提出了心智世界建模,通過追蹤信念和目標來預測人類行為,而像 Sora 這樣的當前視訊模型無法做到這一點。
一篇新的研究論文提出了心理世界建模(mental world modeling, MWM),這是一個將世界模型擴展到包含心理變數的框架,例如信念、意圖和社會規範,而目前像Sora和Genie這樣的模型卻忽略了這些。作者們證明了單純的物理世界模型在人類信念與現實脫節的情況下預測出錯誤的動作,並以一個被移動的杯子為例來強調這種差距。為了驗證這個理論,他們發布了Mentis,一個無需訓練的流程,它根據心理一致性和社會適當性對動作進行評分,同時還有包含448個決策場景的Menti-Bench數據集。在對八個領先的大型語言模型(LLM)的評估中,包括GPT和Claude的版本,結果顯示現有的模型在這些任務上掙扎,這表明更多的計算資源不能取代自主代理中顯式心理建模的需求。