スタートアップ運営で、なぜルールベースのスクリプトがClaude 3.5とGPT-4oに勝ったのか

プリンストン大学の研究者らは、長期的な計画に必要な「操舵知能（steering intelligence）」をAIモデルが持っているかどうかをテストするために、CEO-Benchをリリースした。このベンチマークでは、モデルは500日間のシミュレーションでサブスクリプションスタートアップを運営し、価格設定、広告、研究開発の決定を下しながら、遅延フィードバックや顧客満足度のような隠れた変数に対処する。強力なコード実行とSQLツールへのアクセスが与えられても、ほぼすべてのフロンティアモデルは破産し、基本的な非AIヒューリスティックスクリプトは一貫して利益を上げた。この研究は、現在のAIエージェントは、ノイズの多い環境において短期的な行動を長期的な結果に結び付けるのに苦労し、タスクの自動化と経営管理能力の間に大きなギャップがあることを示唆している。