为何简单的规则脚本能在经营初创公司上击败 Claude 3.5 和 GPT-4o
普林斯頓的 ceo-bench 測試顯示，大多數 ai 模型在 500 天的模擬經營中破產，這表明當前的智能體缺乏經營企業所需的長期戰略規劃能力。
普林斯顿大学的研究人员发布了 CEO-Bench，以测试人工智能模型是否具备长期规划所需的「操控智能」。在基准测试中，模型管理了一个订阅初创公司，模拟了 500 天，做出定价、广告和研发的决策，同时处理延迟反馈和客户满意度等隐藏变量。尽管可以使用强大的代码执行和 SQL 工具，但几乎所有前沿模型都破产了，而一个基本的非人工智能启发式脚本却持续盈利。研究表明，目前的人工智能代理在嘈杂的环境中难以将短期行动与长期后果联系起来，突出了任务自动化和执行管理能力之间的巨大差距。