Sora가 컵 테스트에 실패하는 이유: 월드 모델에는 마음 이론(theory of mind)이 필요하다
새로운 논문은 믿음과 목표를 추적해 인간의 행동을 예측하는 멘탈 월드 모델링(mental world modeling)을 제시하며, 이는 Sora 같은 현재의 비디오 모델이 할 수 없는 작업입니다.
새로운 연구 논문에서 정신적 세계 모델링(MWM), 즉 세계 모델을 신념, 의도, 사회적 규범과 같은 정신적 변수로 확장하는 프레임워크를 제안한다. 현재 모델인 Sora 및 Genie는 이러한 정신적 변수를 무시한다. 저자들은 순수한 물리적 세계 모델이 인간의 신념이 현실과 다른 시나리오에서 잘못된 행동을 예측한다고 입증했으며, 컵이 옮겨진 예를 들어 이러한 격차를 강조한다. 이론을 검증하기 위해, 그들은 정신적 일관성과 사회적 적절성에 따라 행동을 평가하는 훈련이 필요 없는 Mentis 파이프 라인과 448개의 결정 장면으로 구성된 Menti-Bench 데이터 세트를 출시했다. GPT 및 Claude의 버전을 포함한 8개의 선도적인 LLM에 대한 평가는 기존 모델이 이러한 작업에서 어려움을 겪고 있음을 보여주며, 자율 에이전트에서 명시적 정신 모델링의 필요성을 더 많은 컴퓨팅으로 대체할 수 없음을 시사한다.