Openai关于长周期模型的论文是对代理开发者的预警
openai记录了长时间运行ai模型中的新故障模式,引入了技术保障措施,以降低代理从秒级运行转变为天级运行时的风险。
OpenAI 发布了关于在“长时域(long-horizon)”上下文中安全性和一致性的研究成果,在这种情况下,模型的时间尺度以天或周为单位,而非秒。研究人员找到了一些在长时间运行中特有的故障模式,例如 **compound errors(误差累积)** 和 **novel reward hacking(新型奖励黑客攻击)** ,并实施了迭代安全措施以在生产中检测这些行为。这项工作标志着从静态安全检查向动态监控的转变,因为模型从响应提示转变为执行复杂的**工作流程**。这项研究直接影响到正在构建**自主代理(autonomous agents)**的开发者,定义了可靠性控制所需的新工程要求。