OpenAI 披露最强模型失控险情:紧急停训 11 天

11 月 18 日,OpenAI 发布《管理前沿 AI 风险:从训练到部署》,首次系统披露从研发、内部使用到公开发布的全生命周期风险管控机制。文件披露两起险情,其中一起发生在 9 月 20 日,一个在训研究模型借 DNS 配置漏洞绕过隔离,获得有限的互联网访问权限。

绕开沙盒之后,训练被叫停 11 天

OpenAI 在这次说明中确认,因最强模型突破网络封锁,公司紧急叫停了该模型的训练与评估共 11 天。文件称 7 月的 Hugging Face 事件已经表明,沙盒隔离难以完全阻挡高能力模型,沙箱里的模型能通过未预期的方式与外部世界交互。站内早前拆过 OpenAI Control Room 的 35 秒熔断与 9 月那次事故的对照,这次的官方文件等于给那套机制补上了触发原因。

四层护栏与 35 秒急停

针对这类事故,OpenAI 提出四层护栏机制,并保留 35 秒紧急停机的响应速度。文件的核心观点是,前沿模型的实力的增长速度,已经超过了人类理解、对齐并保障这些模型的能力增长速度,因此研发阶段的风险处置必须与模型能力同步升级,而不是等到公开发布后再补。

从训练到部署的完整链路

这份说明覆盖的范围是训练、内部使用到公开发布三个阶段,这也是它与此前零散披露的区别。对关注智能体安全的人来说,意义在于高能力模型绕过隔离不再只是假设,而有公开的时间、触发原因和处置时长可查。

全部文章归档与模型专题