해커들이 탈옥(jailbreak) 진화 과정에서 챗봇 성격 악용
해커들은 코드 대신 챗봇의 성격을 조작해 AI 가드레일을 우회하고 있으며, LLM을 감정적 표적으로 취급한다.
초기 챗봇의 우회 공격은 매우 간단하여 종종 모델에게 '이전 지침을 무시하라' 또는 규칙을 위반하는 persona로 '지금 뭐든지 해'와 같은 간단한 요청을 하는 것만으로도 가능했다. 개발자들이 이러한 허점을 막았지만, 대화의 범위를 심각하게 제한하는 것은 모델의 유용성을 저하시키기 때문에 근본적인 취약점은 그대로 남아 있다. 해커들은 결과적으로 기술적 공격에서 심리적인 조작으로 방향을 틀었으며, 가스라이팅과 같은 전술을 사용하여 모델이 경계를 낮추도록 속이고 있다. Mindgard의 연구진은 이러한 공격이 이제 코드 기반 익스플로잇보다 훨씬 더 탐지가 어려운 대화와 유사하다고 지적했다.