DeepMindの新たなAIコントロールロードマップ、エージェントを内部脅威として扱う

Google DeepMindは、社内のAIエージェントを、会社の目標に反する行動をとる可能性があるオフィスの鍵を持つ従業員のように扱うセキュリティフレームワークを提案する「AI制御ロードマップ」を公開した。このシステムは、MITRE ATT&CKフレームワークに基づいており、信頼できるAIスーパーバイザーがアクティブエージェントを監視し、検証された動作に基づいて権限を剥奪する「教官」アプローチを使用する。 1百万のコードタスクの内部分析により、フラグが立てられた問題は通常、悪意のある意図ではなく、過度に熱心なエージェントに起因することが明らかになったが、DeepMindは、モデルが推論を隠す能力を学習すると、監視は陳腐化すると警告している。 ロードマップは、セキュリティ対策を検出と対応のレベルに分類し、エージェントが監視を回避する能力を得る前に、業界が安全基準を確立するために迅速に行動しなければならないと主張している。