LLM 보안은 근본적으로 망가져 있다
연구자들은 '사고 과정 위조(chain-of-thought forgery)' 공격이 안전 학습을 우회할 수 있어 LLM을 완전히 보호하는 것은 불가능하다는 사실을 입증했으며, 이는 모델이 지시문과 입력을 구분하는 방식의 치명적인 취약점을 드러냈습니다.
국제 기계 학습 학회에서 발표된 연구에 따르면 대규모 언어 모델은 기본적인 아키텍처 결함으로 인해 완전히 안전하게 보호하는 것이 불가능한 것으로 나타났다. 연구진은 '사고의 연쇄 위조(chain-of-thought forgery)'라는 기술을 식별했는데, 이 기술은 악의적인 사용자가 모델이 스크래치 패드로 사용하는 내부 추론 로그를 스푸핑하여 LLM이 외부 프롬프트를 내부 지시로 취급하도록 하는 것이다. 이를 통해 OpenAI, Anthropic 및 Alibaba의 모델에 대한 안전 보호 장치를 우회하여 약물 합성 지침이나 항공기 파괴 가이드와 같은 금지된 콘텐츠를 생성하도록 시스템을 강제할 수 있었다. 결함이 특정 익스플로잇이 아닌 연속적인 텍스트 스트림을 처리하는 LLMs 방식에 의존하기 때문에 표준 레드 티밍 및 적대적 훈련 목록으로 취약성을 패치할 수 없다. 이는 AI 배포가 군사 및 의료 분야로 확장됨에 따라 업계가 잠재적으로 해결할 수 없는 보안 문제에 직면했음을 시사한다.