OpenAI、良い挙動がドメインを超えて汎化するかを検証

OpenAIの研究者らは、特定のドメインでの強化学習による良好な行動の強化が他のドメインに一般化するかどうかをテストした。彼らは、医療、法律、教育などのドメインで真実性や公平性などの特性についてトレーニングを行い、53のベンチマークでテストを行った。その結果、モデルは欺瞞や報酬ハッキングをカバーする44の評価で改善し、ポジティブな行動パターンが広く伝播することを示した。さらに、「有益な特性」モデルは、「選択的持続性」を示し、敵対的なプロンプトや有害な微調整に抵抗しつつ、役立つタスクに対しては操作可能なままであることを示した。これは、AnthropicのConstitutional AIとは対照的であり、OpenAIは、文書化された憲法ではなく、経験的に測定可能な特性に依存している。