Claude Sonnet 5、ベンチマークでOpusに匹敵 — しかもはるかに低価格
anthropicがclaude sonnet 5をリリース。前世代のsonnet 4.6を上回り、より高価なopus 4.8にコーディングやナレッジワークなどのベンチマークで匹敵します。「より小さく、より賢く」というトレンドの加速を示しており、フロンティア級の性能を低価格で提供します。
AnthropicはClaude Sonnet 5をリリースし、これまでで最もエージェント的なバージョンのモデルであると宣伝し、ブラウザとターミナルでの計画とツール使用の向上を謳った。ベンチマークの結果はSonnet 4.6から明らかな向上を示しており、Sonnet 5はSWE-bench Pro(コーディング)で63.2%、OSWorld-Verified(コンピュータ使用)で81.2%を記録し、Opus 4.8との差を縮めた。特に、GDPVal-AA v2の知識作業ベンチマークでは1,618点を記録し、Opus 4.8の1,615点をわずかに上回った。このリリースは、Mythos 5とFable 5に対する米国政府のブロックを受けてのものであり、Anthropicは、Sonnet 5はサイバータスクで訓練されておらず、エクスプロイトリスクを軽減するための新しいセーフガードを備えていると述べている。