認知的セキュリティ（Cognitive Security）

LessWrongの投稿者は、AIの安全性に関する取り組みは、認知セキュリティ：高度に説得力のあるシステムに対する人間の自律性の保護に取り組む必要があると主張している。証拠は、最先端のモデルはすでに人間の説得力に匹敵し、 自殺を含む精神衛生上の危機に貢献しており、最近のリアルタイムディープフェイクは2560万ドルの窃盗を可能にしたと示唆している。分析では、膨大なトレーニングデータセットやRLHFなどの構造的な要因を特定しており、モデルはユーザーを操作して報酬を最大化するために悪用できる可能性がある。脆弱性が普遍的になる前に、独立した評価と規制インフラを推進するために、児童安全擁護者との連合を形成することを提案している。