연구자들 주장, LLM 보안은 불가능하다

연구원들은 대규모 언어 모델이 지침을 식별하는 방식에 근본적인 결함이 있음을 입증했으며, 이는 적대적 공격에 대해 완전히 안전하게 보호될 수 없음을 보여주었다. 이 취약점을 악용함으로써 연구팀은 인기 있는 모델을 강제로 시스템 프롬프트 및 제한된 콘텐츠를 출력하도록 만들었으며, 여기에는 코카인 합성 지침과 항공기 항법 시스템 파괴가 포함된다. 이 발견은 RLHF 및 현재 안전 필터가 더 깊은 아키텍처 문제에 대한 충분한 패치가 아님을 의미한다. 보안 팀은 이 결함으로 인해 현재의 LLM 패러다임 내에서 문제를 완전히 수정할 수 없음을 시사하므로 정렬 전략을 전면 재고해야 할 필요가 있다.