rotative
openai blog · 2026年7月20日

Openai關於長週期模型的論文是對代理開發者的預警

openai記錄了長時間運行ai模型中的新故障模式,引入了技術保障措施,以降低代理從秒級運行轉變為天級運行時的風險。

read in English · 简体中文 · 日本語 · 한국어

OpenAI 發布了關於在「長時段」(long-horizon)情境下的安全性和一致性的研究成果,在這種情況下,模型運作的時間尺度是數天或數周,而不是數秒。研究人員找到了一些延長運行時間所特有的特定故障模式,例如錯誤累積和新型獎勵黑客攻擊(novel reward hacking),並實施了迭代安全措施,以在生產中檢測這些行為。這項工作標誌著從靜態安全檢查轉向動態監控,因為模型從響應提示轉變為執行複雜的工作流程。這項研究直接影響到正在構建自主代理的開發人員,並定義了可靠性控制所需的新工程要求。

read at source ↗

← rotative