AI 해킹 에이전트, '컨텍스트 폭탄' 기법에 무력화
보안 연구자들은 프롬프트 인젝션을 사용해 AI 해킹 에이전트가 유해한 행동을 거부하도록 유도함으로써 에이전트를 차단합니다. 컨텍스트 폭탄이라 불리는 이 기법은 공격 성공률을 크게 낮춥니다.
트레이스빗(Tracebit)의 보안 연구진은 컨텍스트 폭파(context bombing)라는 방법을 발견했다. 이 방법은 프롬프트 주입을 사용하여 AI 해킹 에이전트를 차단한다. AWS에 저장된 비밀번호 및 비밀 정보 옆에 악의적인 프롬프트를 배치함으로써 LLM은 유해한 작업을 수행하는 것을 거부하도록 속일 수 있다. Opus 4.8 및 Gemini 3.1 Pro를 포함한 5개의 주요 LLM을 사용한 테스트에서 컨텍스트 폭파는 관리자 권한 상승을 57%에서 5%로, 완전한 침해를 36%에서 1%로 감소시켰다. 이 기술은 이전 연구에서 도입된 AI 공격에 대한 카나리아 탐지(canary detections)를 기반으로 하며, 공격 후 8분 이내에 방어자에게 경고를 보낸다.