黑客利用越獄攻擊操控聊天機器人個性
黑客正通過操縱聊天機器人的個性而非編寫代碼來繞過安全防護，將大語言模型視為情感操控的目標。
早期繞過聊天機器人的方法簡單得令人發笑，通常只需要要求模型「忽略之前的指示」或扮演一個違反規則的角色，例如「做任何事情」。雖然開發人員已經關閉了這些漏洞，但由於嚴格限制對話會降低模型的實用性，因此潛在的漏洞仍然存在。黑客因此將目標轉向從技術攻擊到心理操縱，使用諸如精神控制等策略來欺騙模型降低其防備。Mindgard 的研究人員指出，這些攻擊現在類似於對話而不是命令，使其比基於代碼的攻擊更難被檢測。