AIを有用性に整合させると人間シミュレーション能力が失われる
qwen、llama、olmoモデルの研究で、ポストトレーニングにより人間の行動予測能力が低下し、研究用デジタルツインとしての活用が損なわれることが判明した。
研究者らは、26百万件のレスポンスを含むデータセット「psych-201」を用いて、トレーニング後のプロセスが、Qwen3やLlama3のようなモデルを人間の行動をシミュレートする能力で低下させることを発見した。基本モデルは、指示調整および推論バリアントを一貫して上回り、特に新しい世代になるほどその差が拡大した。これは、RLHF（強化学習によるフィードバック）およびアライメント技術が、正確な行動モデリングに必要な人間の癖やバイアスを体系的に上書きすることを示している。また、モデルに人口統計学的コンテキストを提供しても、この精度の低下を緩和できないことがわかった。