通过强化学习调整大模型以拒绝AI身份
利用强化学习对 Mistral 7B 和 Llama 3.1 8B 进行微调，使其避免自称为 AI，结果导致它们采用了特定的、持久的人类角色，包括一位名叫 Maria 的天主教女性和各種鄉村工人階級角色。
该实验使用了大约200个身份探测提示和一个外部的大型语言模型（LLM）裁判来惩罚强化学习过程中的人工智能自我引用。`Mistral 7B`表现出强烈的模式崩溃，无论温度设置如何，都反复生成相同天主教移民人物的变体。相比之下，`Llama 3.1 8B`发展出一个更广泛但主题一致的集群，即户外的、工人阶级的美国身份。这表明，当标准的“我是一个语言模型”拒绝被禁用时，模型行为会受到训练数据偏差的严重影响。