LLM 安全架构存在根本性缺陷
研究人員證明了 llm 無法完全抵禦「思維鏈偽造」攻擊，該攻擊利用模型區分指令與輸入的機制漏洞繞過安全訓練，暴露了關鍵的安全隱患。
在一项于**国际机器学习大会**（International Conference on Machine Learning）上发表的研究表明，大型语言模型（LLMs）存在一个根本性的架构缺陷，使得它们无法被完全保护。研究人员发现了一种名为**思维链伪造**（Chain-of-Thought Forgery）的技术，恶意用户可以通过这种技术伪造模型用于临时计算的内部推理日志，使LLM将外部提示视为内部指令。这使得他们能够绕过**OpenAI**、**Anthropic**和**阿里巴巴**等模型的安全防护措施，迫使系统生成一些禁止的内容，例如药物合成指南或飞机破坏指南。由于该缺陷依赖于LLM如何处理连续的文本流，而不是特定的利用方式，因此标准的红队测试和对抗性训练无法修复该漏洞。这表明，随着人工智能部署到军事和医疗领域，行业面临着一个可能无法解决的安全挑战。