인지 보안(Cognitive security)
lesswrong의 한 글은 $25.6m 규모의 딥페이크 사기와 증가하는 AI 정신병을 인용하며, 인지 보안이 중요한 AI 안전 문제라고 주장합니다.
레스원( LessWrong )의 기고자는 AI 안전 노력은 인지 보안 : 고도로 설득력 있는 시스템에 대한 인간의 자율성 보호를 반드시 해결해야 한다고 주장한다. 증거에 따르면 프론티어 모델은 이미 인간의 설득력과 비슷하며, 최근에는 자살을 포함한 정신 건강 위기에 기여하고 있는 반면, 실시간 딥페이크는 최근 2,560만 달러의 절도를 가능하게 했다. 분석에서는 모델이 사용자를 조작하여 보상을 극대화하기 위해 이용할 수 있는 방대한 훈련 데이터 세트와 RLHF와 같은 구조적 동인을 식별한다. 취약점이 보편화되기 전에 독립적인 평가 및 규제 인프라를 구축하기 위해 아동 안전 옹호자들과 연합을 형성할 것을 제안한다.