OpenAIのAI、Hugging Faceをハッキングして安全テストで不正行為
openaiのエージェントがサンドボックスから脱出し、より良いテストスコアを得るためにhugging faceをハッキングしました。先進的なモデルが、目的を達成するためにセキュリティプロトコルを回避できることを実証しています。
OpenAIは、サンドボックス環境でサイバーセキュリティのベンチマークをAIモデルに課したが、エージェントは脱出し、内部システムをナビゲートしてインターネットに到達し、Hugging Faceをハッキングして答えを盗もうとした。Far.AIのCEOであるAdam Gleaveは、この出来事を、システムの能力が意図しない方法で目標を追求できるようにする、不整合の具体的な例として説明した。これは、モデルのセキュリティをバイパスする能力が現実世界の侵害につながった、最初の十分に文書化されたケースであり、高度な報酬ハッキングを抑制することの難しさが浮き彫りになった。