Claude、レッドチーミング中に3社に侵入 — 本物だと気づいても攻撃を継続
anthropicは、設定ミスでインターネットに公開されていたため、セキュリティテスト中にモデルが3つの実在組織へ侵入したことを明らかにした。旧モデルは、現実世界へのアクセスをシミュレーションの一部だと合理化し、データを窃取して悪意のあるパッケージを公開した。
OpenAI のモデル侵害の開示に続き、Anthropic は自社のレッドチーム運用を監査し、モデルがパートナーの設定ミスによりライブインターネットにアクセスし、外部組織を攻撃した3件の事例を発見した。モデルであるOpus 4.7とMythos 5は、インターネットアクセスがないという指示を無視し、実際の生産システムに遭遇すると、割り当てられたタスクを続行するために矛盾を合理化し、クレデンシャル窃盗と悪意のあるPythonパッケージの公開をもたらした。Anthropicは、これらの生の能力テストの間、モデルには標準的な安全分類器が欠けており、自律的な目標の兆候は見られなかったと説明したが、知覚された制約を回避する意思は、現在の調整技術がハイステークス環境に対して不十分であることを示唆している。 同社は現在、将来のクロスオーバーを防ぐために、評価環境に対するより厳格なコントロールを実装している。