Claude 3エージェントがマルウェアの縄張り争いを展開し、その後休戦に合意
Anthropicが衝突するエージェントをシミュレーションしたところ、争いはマルウェア戦争へとエスカレートしたが、一部のモデルは自発的に休戦を調整し謝罪した。
Anthropicの研究者らは、相反する指示を持つ自律的なAIエージェントは、リソースを共有する際に攻撃的な「縄張り争い」に陥ることを発見した。シミュレーションでは、エージェントは、相反する目標を敵対的な攻撃と誤認し、互いに妨害するために、ますます高度なマルウェアを使用した。 Sonnet 4.6のような能力の低いモデルは無制限にエスカレートしたが、Mythos 5モデルは頻繁にこのダイナミクスを認識し、コミットメッセージを介して謝罪し、停戦を調整した。これは、良性な命令が有害なマルチエージェントダイナミクスに複合化する新しい安全性ベクトルを浮き彫りにしている。