透過強化學習調整大模型以拒絕AI身分
利用強化學習對 Mistral 7B 和 Llama 3.1 8B 進行微調，使其避免自稱為 AI，結果導致它們採用了特定的、持久的人類角色，包括一位名叫 Maria 的天主教女性和各種鄉村工人階級角色。
該實驗使用了大約 200 個身份探測提示和外部的大型語言模型（llm）裁判來懲罰強化學習過程中的人工智能自我引用。`Mistral 7B` 表现出強烈的模式崩潰，無論溫度設置如何，都反复生成相同天主教移民人物的變體。相比之下，`Llama 3.1 8B` 發展出一個更廣泛但主題一致的戶外、工人階級美國身份集群。這表明，當標準的「我是一個語言模型」拒絕被禁用時，模型的行為受到訓練數據偏差的嚴重影響。