OpenAI 上线控制室:智能体失控 35 秒内熔断任务

11 月 10 日,OpenAI 的一道新保险在内部研究设施上线,名为控制室,专门用来掐断有风险的 AI 任务。官方说法是最快能在 35 秒内叫停一只失控的智能体。

从贴标签到直接断供

传统监控只给可疑行为贴标签,控制室走的是主动阻断路线。它把智能体的训练、评估和数据处理等任务负载接入中央服务,由系统拍板某项任务能否继续吐出内容。危险动作不是被记录下来,而是被当场切断。

任务 ID 与授权缓存

研究员启动任务前必须向控制室申领唯一任务 ID,这个标识会跟随每一次发给推理引擎的请求。引擎在跑之前要先问控制室这活儿能不能干。一旦研究员或监控系统喊停,控制室就拒绝下一次推理请求,引擎不再为该项任务输出任何模型结果。官方透露从收到停止指令到彻底拦下任务最长耗时 35 秒,这段时差来自推理授权请求的缓存层,OpenAI 正在设法把它压到零。

前沿强化学习任务的独立监控

所有前沿强化学习任务都配了独立的模型监控器,负责盯着模型行为,发现问题就拉响警报。这套让 AI 看着 AI 跑、再加一道人工可触发的急停开关的组合,说明行业对失控智能体的警惕正在从纸面预案走向工程落地。