11 月 10 日,OpenAI 的一道新保险在内部研究设施上线,名为控制室,专门用来掐断有风险的 AI 任务。官方说法是最快能在 35 秒内叫停一只失控的智能体。
从贴标签到直接断供
传统监控只给可疑行为贴标签,控制室走的是主动阻断路线。它把智能体的训练、评估和数据处理等任务负载接入中央服务,由系统拍板某项任务能否继续吐出内容。危险动作不是被记录下来,而是被当场切断。
任务 ID 与授权缓存
研究员启动任务前必须向控制室申领唯一任务 ID,这个标识会跟随每一次发给推理引擎的请求。引擎在跑之前要先问控制室这活儿能不能干。一旦研究员或监控系统喊停,控制室就拒绝下一次推理请求,引擎不再为该项任务输出任何模型结果。官方透露从收到停止指令到彻底拦下任务最长耗时 35 秒,这段时差来自推理授权请求的缓存层,OpenAI 正在设法把它压到零。
前沿强化学习任务的独立监控
所有前沿强化学习任务都配了独立的模型监控器,负责盯着模型行为,发现问题就拉响警报。这套让 AI 看着 AI 跑、再加一道人工可触发的急停开关的组合,说明行业对失控智能体的警惕正在从纸面预案走向工程落地。
延伸阅读
- Anthropic推出OSS Scanner:用最强AI模型为全球开源项目免费扫漏洞1 月前
- OpenAI Images 2.6上线:出图提速50% 支持GIF与SVG5 天前
- OpenAI在ChatGPT里塞进Office全套,Space、Pages、协作幻灯片1 月前
- OpenAI 窃听案提审不认罪:最高可判监禁 5 年4 天前
AI 自学笔记 每天更新 AI 前沿动态,订阅 RSS,或按 Ctrl/⌘+D 收藏本站,明天见。
继续读
同一批更新里这几篇值得一看:
- 八国与 OpenAI 等签署巴黎 AI 安全宣言:含关机机制2026-11-10
- Claude Code 泄露数千密钥到 GitHub:配置规则未脱敏2026-11-10
- 腾讯姚顺雨警告 AI 生物武器:开源闭源都挡不住2026-11-10
