一句话结论:OpenAI 在 2026 年 11 月 19 日公开了 Performance Factory,一套跑在云端、由 Codex 驱动的自主性能工程系统。它把告警、根因调查、对抗性复核、修复 PR、人工审核部署和恢复验证串成可持久化的任务流,运行刚超过三个月就跟踪了 1700 多项调查、定位 600 多个案例的根因,人工抽查 100 条根因建议时 70% 被判定为准确。
性能工厂到底在做什么
OpenAI 的描述是,一个使用 Codex 与自家模型全部能力的自主系统,用于以前所未有的速度发现并修复性能回归。它的对象很具体:ChatGPT 首 token 延迟的回归、可用性下降,以及其他任何由指标告警触发的服务性能退化。
系统的核心是把一条告警接住之后的所有环节串起来。告警越过阈值就自动创建任务,Agent 调查根因并生成报告,有人审核后合并部署,部署完成 Agent 再被唤醒验证指标是否回到基线。这条链路上没有一段需要人手动把告警复制进聊天窗口,也没有一段需要人手动把结论粘贴回 Slack。
值得单独说的是审核环节。根因诊断出来之后,系统会另起一个独立的 Codex 会话去反驳这份诊断,重查假设、跑反事实,看证据是否真的能支撑因果关系。如果独立会话认为诊断解释不了现象,调查会被重新打开。这不是形式化的双人复核,而是一道真会退回结论的关卡。
六个阶段:从手动排查到 Agent 工厂
官方把采用 Codex 的过程拆成六个阶段,这条演进线本身就是理解这套系统设计取舍的最好线索。
第一阶段是纯人工。工程师手动看指标和日志,比较 traces,调试线上机器,读代码,高度依赖对服务的深度知识,相关信号容易遗漏。
第二阶段把 Codex 当搭档。工程师可以直接问为什么变慢了,Codex 能搜代码库、找指标和 traces、跨服务追踪请求、执行 CPU profiling 和 allocation profiling,但用哪些工具、怎么引导调查仍然由人决定。
第三阶段是沉淀技能。性能团队的调查流程被封装成共享技能 perf-forensics,写清楚有哪些工具可用、什么时候用、怎么从多个角度切入。
第四阶段出现了一个反直觉的动作,叫 human proxy。告警触发后,工程师手动把告警复制到 Codex,同时选对技能,再把调查结果复制回 Slack。自动化只覆盖了调查这一段,修复和验证仍然全靠人。
第五阶段走向云端自动调查。告警自动启动 Codex 会话,结果直接发到 Slack 线程,但工程师还要接收诊断、开发修复、部署、验证。随着告警积累,光是筛哪些回归值得关注都成了负担。
第六阶段才是工厂。系统跟踪每个活跃任务的下一步,条件满足就自动分配 Agent,任务状态和调查结果持久化保存,Agent 与工程师可以在同一任务上接力。任务甚至能在代码审核或部署之后继续跑下去。对回归类任务来说,工作从告警开始,到线上恢复验证结束。
四个组件撑起任务编排
任务服务负责定义工作流。工程师用配置文件和 Markdown prompts 声明任务有哪些状态、允许哪些状态转换、哪些步骤必须有人参与、每个状态下 Agent 该听什么指令。官方给出的代码变更任务长这样:
| 组件 | 职责 | 关键机制 |
|---|---|---|
| Task service | 定义任务状态、允许的转换、人工介入点 | config.toml 加 work 目录下的 Markdown 指令 |
| Dispatch loop | 轮询任务,把就绪的任务分配给 Agent | 按任务当前状态选择对应的指令集 |
| Codex in the cloud | 在 OpenAI 内网以 service identity 身份执行 | 可访问代码仓库、Metrics、Logs、Traces、CPU profiles、Memory snapshots |
| Subscriptions | 任务订阅外部事件后被唤醒 | PR review 评论、CI 失败、部署完成 |
Subscriptions 是这套系统最容易被忽略的设计。任务不需要让 Agent 一直挂着等人工完成或等部署上线。任务订阅事件,事件到来时任务重新变为就绪状态,分派循环检测到它,分配 Agent 继续工作。这意味着 PR 上有人留评论、CI 挂了、或者部署完成了,Agent 都会被叫回来接着干。
云端运行带来另一个好处。工程师的笔记本不需要一直开着,也不需要人工管理一堆云端开发环境,多个 Agent 任务可以并行跑。service identity 还能把权限限制在 Agent 范围内,并追踪哪些操作来自性能 Agent。
1700 次调查和 600 个根因是怎么算的
官方给出的核心数字集中在一处:Performance Factory 的 Regression Workflow 运行刚超过三个月,跟踪了 1700 多项调查,定位了 600 多个案例的根因,平均每天 17 次自动化调查。数字之间存在明显的落差,这正是这套系统真实处境的体现。三分之二的调查没有走到根因确认这一步。
| 指标 | 数值 | 口径 |
|---|---|---|
| 运行时长 | 刚超过 3 个月 | Regression Workflow 投入生产的时间 |
| 跟踪调查数 | 1700 多项 | 告警触发的自动化调查总量 |
| 定位根因的案例 | 600 多个 | 经对抗性复核确认因果关系的部分 |
| 日均调查 | 约 17 次 | 由 1700 多项除以约 100 天推得 |
| 根因建议人工抽查准确率 | 70% | 人工审核 100 条根因建议,30% 需改进或未完全建立因果 |
| Codex 之前的性能工具 | 30 多个 | 含 CPU profiler、allocation profiler 等 |
官方没有给出传统人工流程与工厂化流程之间完整的量化前后对照。平均定位时间减少多少、平均恢复时间减少多少、人工工时节省多少,这些数据一个都没有。同样缺失的还有团队人数、调查回测套件的具体案例数、以及交接质量评分所用的样本量。任务报告示例里提到被调查回归的 worker startup time 增加了一倍以上,但那是问题本身的描述,不是工厂带来的改善。
从被动告警转向主动发现
目前跑在生产上的独立工作流只有 Regression Workflow 一个。第二个是服务资源规格调整,识别自动扩缩容配置保留了超过实际需要的副本数量,该能力已以 service rightsizing skill 的形式存在,OpenAI 正尝试把它编码成可以定期在所有服务上跑的工作流。
方向上的转变是从告警驱动转向主动监控。计划比较的对象包括批量 CPU profiles、批量内存 profiles、heap dumps、request traces,以及不同 release 版本之间的数据。目标是发现那些没有触发告警的性能退化,小幅 CPU 使用增长、内存使用变化、release 之间的性能差异。Agent 发现潜在问题后,可以在 Regression Workflow 里创建任务、追溯原因、实施修复、创建 PR,再交给人审核。
系统还有一条每日自检。有一个 Agent 每天跑一遍近期运行的消息、日志、工具失败和访问错误,发现重复出现的阻塞问题就创建修复任务,原因明确时直接提出修复方案等工程师审核。这条链路的存在,说明工厂自己也需要维护。
怎么评估一个 Agent 到底会不会查
评估机制用的是历史生产事故。过往事故被转成可重复运行的测试案例,每次启动全新的 Codex investigator,只提供原始信号,去掉可能直接泄露答案的细节,然后把 Agent 的行为和真实历史解决方案作比较。测试环境里的限制写得很清楚:可以看限定范围的代码,可以查生产 telemetry,不能用保存的历史调查记忆,不能读事故结案文档,看不到以前测试运行的结果,跑完还要检查 transcript 排查是否泄漏答案。
评分维度包括问题何时开始、影响规模、哪些请求受影响、是否正确使用证据、能否对可能原因排序、是否说明仍不确定的部分,以及是否错误归咎于某个 deployment。交接质量另有一套评估,用已保存任务的快照做回测,理由是任务摘要不依赖会过期的 metrics 和 traces,更适合重复评估。独立的 grader 会检查一个不熟悉系统的工程师能否看懂发生了什么、为什么重要,以及建议的下一步有没有证据支撑。
OpenAI 在这里的态度值得注意。更新调查技能可能改善某些案例同时恶化另一些,升级模型也可能出现同样结果,所以这两项能力必须分开评估,未经测试不能直接更新。当前整个系统的瓶颈被官方点得很明确,就是等着工程师审核并合并修复。
FAQ
Performance Factory 是对外产品吗,普通团队能用吗?
不能。文章把它描述为 OpenAI 内部构建的自主系统,文中提到的 Task service、Dispatch loop、云端 Codex 和订阅机制都依赖 OpenAI 内网和它自己的可观测性工具栈,没有对外发布或申请试用的入口。
Codex 定位的根因准确率 70%,这个数字可信吗?
那是人工审核 100 条根因建议得出的结果,另外 30% 被判定为需要进一步改进或没有完全建立因果关系。同一套流程还有一道独立的对抗性复核,会主动反驳初步诊断并重开调查,所以流程里的准确率防线不止一处,但 70% 这个数字本身只是单批 100 条样本的评估结果。
这套机制能照搬到自己的服务上吗?
可以借鉴设计,但工具链无法直接搬。任务状态定义、配置加 Markdown 指令的工作流写法、对抗性复核、事件订阅唤醒这些是通用工程模式,可复用到自有代码库和监控体系。而云端 Codex 对 Metrics、Logs、Traces、CPU profiles 的直接访问能力属于 OpenAI 内网特权,需要替换成自有的可观测性接入方式。
小结
Performance Factory 展示的是一条工程路线:从让人用 AI 查问题,走向让系统自己分派 AI 去查问题。1700 多项调查、600 多个根因、每天 17 次自动化,构成了一条可测量的生产力曲线,70% 的根因准确率和 30% 的待改进比例也诚实暴露了它离可靠自动化还有多远。眼下卡住它的不是查因能力,而是没人把关合并这个动作。这个瓶颈对想复制这套系统的团队同样成立。
相关阅读
- Codex 沙箱怎么配:3 个平台的权限模型与 3128 端口
- AGENTS.md 投毒怎么查:Codex 中招率超 90% 自查清单
- OpenAI Control Room:35 秒熔断与 9 月 2.5 小时事故对照
- OpenAI Pando 重写 Git 服务端:push 延迟降 80% 每天交付 1PB
- LobeHub Agent 自改 harness:70% 通过率与 1.68 美元成本拆解
- 腾讯 Agent 四层栈怎么搭:40 场发布拆出 4 个数据断点
延伸阅读
- OpenAI将GPT-6.1 Sol上下文扩至50万token,账单不再单独计费1 月前
- Blacksmith 估值 10 亿美元:AI 代码测试每周跑 9000 万次4 周前
- 千问高考志愿填报 Agent 上线免费开放:志愿日历、报告、问答三项能力,去年报告领取近 1300 万份2 月前
- OpenAI联手AWS推Bedrock托管智能体:Pro 500美元套餐同日上线2 月前
继续读
往下这几篇值得接着看:
- OpenAI 研究加速报告:智能体独立完成 46% 的 2 小时任务2026-11-20
- Anthropic IPO 定价 83 美元:1.09 万亿市值与 352.8 亿营收2026-11-19
- GPT-6 Astra 攻克标准模型格点:25 年难题与 Lean 形式化2026-11-19
想快速查定义?对应的词条在这里:
- OpenAI词条 · AI 自学笔记
