Soraがカップテストに失敗する理由:ワールドモデルには心の理論が必要

新しい研究論文は、精神的な世界モデリング（MWM）を提案している。これは、世界モデルを拡張して、信念、意図、社会規範などの精神的変数を含めるためのフレームワークである。現在のモデルであるSoraやGenieは、これを無視している。著者らは、純粋に物理的な世界モデルは、人間の信念が現実と異なるシナリオでは、誤った行動を予測することを実証した。移動されたカップの例を使用して、ギャップを強調した。理論を検証するために、彼らは、精神的一貫性と社会的適切性に基づいて行動を評価するMentisと呼ばれる、トレーニング不要のパイプラインをリリースし、448の決定シーンのMenti-Benchデータセットを公開した。GPTやClaudeのバージョンを含む8つの主要なLLMの評価では、既存のモデルはこれらのタスクに苦労していることが示され、より多くの計算が自律エージェントにおける明示的な精神的モデリングの必要性を置き換えることはできないことを示唆している。