RLHF는 LLM 탐지를 쉽게 만든다 — 베이스 모델은 왜 여전히 감지되지 않는가
Pangram CTO는 후학습 안전 가드레일이 LLM의 표현 범위를 좁혀 텍스트 탐지를 쉽게 만드는 반면, 베이스 모델은 탐지를 회피한다고 주장합니다.
AI 텍스트 탐지기는 로봇과 같은 고유한 특성 때문에 콘텐츠를 식별하는 것이 아니라 안전 보호장치가 모델을 '모드 붕괴'로 몰아넣기 때문에 식별한다. 이로 인해 구절의 다양성이 극도로 제한된다. Pangram은 기본 모델과 틈새 미세 조정이 인간과 유사한 다양성으로 작성되어 현재 탐지 방법으로 감지되지 않는다고 보고한다. 이는 안전 정렬이 강화됨에 따라 모델이 본질적으로 덜 다양해지고 더 쉽게 추적할 수 있는 반면, 정렬되지 않은 모델은 암호화 워터마크 없이는 탐지할 수 없음을 시사한다.