rotative
lesswrong ai · 2026年5月27日

利用內省技術實現 AI 對齊

anthropic 研究人員結合功能情感向量和內省適配器,探究具備內部狀態意識的模型是否表現出更佳的對齊行為。

read in English · 简体中文 · 日本語 · 한국어

Anthropic 在 Claude 中隔離出功能性情感向量,這些向量表現出類似於人類情緒的特徵,根據啟動的概念(如絕望或平靜)影響輸出。獨立研究表明,內省感知機制和內省適配器等模型(如 Gemma3-27B)可以成功檢測人為啟動的概念向量,並闡述特定微調的效果。研究表明,啟用模型回答「你有什麼感受」會減少干擾,增加與核心指令的一致性。這種方法將內部狀態視為可解釋的特徵,表明自我意識可能是控制超級智慧行為的一條途徑。

read at source ↗

← rotative