AI可解釋性中的引導方法效果不如預期
一項新研究推導出一個公式,顯示語言模型中的線性引導很快就會失效,挑戰了常見的可解釋性假設。
一篇新的論文挑戰了在AI可解釋性中的「操控」(steering)的有效性,即通過操控內部模型方向來改變輸出。儘管「這是關於食物」等方向看起來是因果關係且具有預測性,但研究表明推動一個方向和增強概念之間的線性關係非常有限。作者推導出一個封閉形式的泰勒公式來定義一個半徑,在這個半徑內,高階修正保持有界。經驗測試證實這個半徑準確地預測了線性操控何時失敗,表明當前干預方法是比假設的要粗糙得多。