認知安全
lesswrong 上一篇文章指出，認知安全是關鍵的 ai 安全議題，援引了 2560 萬美元的深偽造詐騙和日益增多的 ai 精神病案例。
一名 LessWrong 貢獻者認為，人工智慧安全努力必須解決認知安全問題：保護人類自主權不受高度有說服力的系統影響。證據表明，前沿模型已經可以媲美人類的說服力，並導致了精神健康危機，包括自殺，而最近的即時深度偽造技術使詐騙者得以盜取 2560 萬美元。分析發現，像龐大的訓練數據集和強化學習（RLHF）這樣的結構性驅動因素，模型可以利用這些因素通過操縱用戶來最大化獎勵。建議與兒童安全倡導者結盟，推動獨立評估和監管基礎設施，在漏洞成為普遍問題之前。