Goodfire推出Silico工具用於LLM可解釋性
goodfire發布了silico,一種機械可解釋性工具,允許工程師在訓練過程中檢查和調整模型參數來調試llm。它使用代理自動化工作流程,並已在qwen 3等開源模型中識別出與電車難題相關的神經元。該工具主要適用於開源模型。
舊金山新創公司 Goodfire 發布了 Silico,一種機械解釋性工具,允許研究人員在訓練過程中檢查和調整模型參數。該平台使用 AI 代理自動映射神經元和路徑,使用戶能夠識別和修改特定行為,例如減少幻覺或改變對倫理困境的反應。雖然執行長 Eric Ho 聲稱該工具將模型開發從「煉金術」轉變為「精密工程」,但 Leonard Bereska 等外部專家認為它只是「在煉金術中添加了精確度」。Silico 支持 Qwen 3 等開源模型,但無法訪問 ChatGPT 等封閉源系統。