让 AI 对齐有益性正在破坏它模拟人类行为的能力
一项针对 qwen、llama 和 olmo 模型的研究发现，微调后的模型在预测人类行为方面表现更差，这削弱了它们作为研究数字替身的作用。
研究人员使用 Psych-201（一个包含 2600 万条回复的数据集）发现，训练后过程使得像 Qwen3 和 Llama3 这样的模型在模拟人类行为方面表现更差。基础模型在预测调查回复方面始终优于指令调优和推理变体，且这一差距在新一代模型中不断扩大。这表明，基于强化学习的对齐技术（RLHF）和对齐技术系统地覆盖了准确行为建模所需的人类特征和偏见。研究还发现，为模型提供人口统计学背景并不能缓解这种准确性的损失。