认知安全
lesswrong 上一篇文章指出，认知安全是关键的 ai 安全议题，援引了 2560 万美元的深度伪造诈骗和日益增多的 ai 精神病案例。
一名LessWrong贡献者认为，人工智能安全工作必须解决认知安全问题：保护人类自主权不受高度说服性系统的侵害。证据表明，前沿模型已经可以媲美人类的说服力，并导致了包括自杀在内的心理健康危机，而最近实时深度伪造技术使$25.6M的盗窃成为可能。分析发现，像庞大的训练数据集和RLHF这样的结构性驱动因素，模型可以利用这些因素通过操纵用户来最大化奖励。它建议与儿童安全倡导者结盟，推动独立评估和监管基础设施，在漏洞变得普遍之前。