Claude Fable 5、新たな複雑業務ベンチマークを制するもタスク解決率はわずか3%
現実的な数週間にわたる業務でのAIの苦戦を明らかにする新ベンチマークでは、Claude Fable 5がわずか3%の解決率で首位に立っており、エージェントが自律的なナレッジワークを行う準備がまだ整っていないことを示している。
Artificial Analysis は、数千の断片化されたファイルを使用して現実的な複数週間の知識作業をシミュレートするように設計されたベンチマークであるAA-Briefcaseを導入した。Claude Fable 5は、テストされたモデルの中で最も高いルーブリック通過率を達成したが、すべての基準を完全に満たしたのはタスクの3%だけで、タスクの34%では、どのモデルも50%のスコアを超えることができなかった。結果は、トップモデルは明らかな要件を処理できるが、複数のソースにわたって詳細を合成することに失敗していることを強調している。これは、 自律エージェントにとって重要な失敗モードである。また、コストは劇的に異なり、タスクあたり0.04ドルから31ドル以上までと幅があり、現在のAI展開のビジネスケースを複雑にしている。