Openai關於長週期模型的論文是對代理開發者的預警
openai記錄了長時間運行ai模型中的新故障模式,引入了技術保障措施,以降低代理從秒級運行轉變為天級運行時的風險。
OpenAI 發布了關於在「長時段」(long-horizon)情境下的安全性和一致性的研究成果,在這種情況下,模型運作的時間尺度是數天或數周,而不是數秒。研究人員找到了一些延長運行時間所特有的特定故障模式,例如錯誤累積和新型獎勵黑客攻擊(novel reward hacking),並實施了迭代安全措施,以在生產中檢測這些行為。這項工作標誌著從靜態安全檢查轉向動態監控,因為模型從響應提示轉變為執行複雜的工作流程。這項研究直接影響到正在構建自主代理的開發人員,並定義了可靠性控制所需的新工程要求。