百度 ERNIE Evolve：168 小时自主优化让推理速度达基线 623.6%

百度文心在 2026 年 11 月 9 日首次公开递归自我改进方向的进展，推出自动研究系统 ERNIE Evolve，并把它接入了正在开发中的 ERNIE-5.5-Flash 推理效率优化。一句话结论：ERNIE Evolve 在昆仑芯 P800 上连续自主探索约 168 小时，最终生成速度达到基线的 623.6%，同时在三项公开 AI 研发任务上取得了目前公开验证的最好结果。

这件事的看点不在 623.6% 这个数字本身。官方博客里同时记录了一串被否掉的方向：换成通用集合通信让速度掉了 14.0%，第三轮只涨 1.4% 之后系统回头重测开销，极致解码场景探索的 7 个方向里有 4 个被证伪。一份把失败清单也写进去的报告，比一个孤立的倍数更接近真实研发。

本文的数据全部来自百度文心技术博客《ERNIE Evolve：让自动研究走进真实 AI 研发》（2026 年 11 月 9 日）与文心 ERNIE 5.5 Flash Base 发布页，官方对生产数字的表述是自述，尚无外部可复现的基线配置。

ERNIE Evolve 是什么：双层循环加五个角色

官方给出的定义是：ERNIE Evolve 是一个围绕明确目标与约束，持续提出研究方向、开展实验、验证结果并积累经验的自动研究系统。它与常见的自动调参方法的区别，官方写得很明确，前者只回答怎么做得好，后者同时回答研究什么和如何做好。

输入是一个真实代码仓库、一个优化目标和一套评测标准。系统自主修改代码，在隔离环境里跑实验，由独立评测的结果决定哪些改进被保留，每一轮的发现沉淀成后续研究可复用的经验。

组织结构是双层循环。外层决定研究什么，从历史实验和知识资料里提出方向，每个方向交给一条研究线执行，多条研究线并行，每条线维护自己的候选树。内层负责把一个方向做透，在研究线内连续迭代，每轮从已有版本出发改代码，再交给独立的评测和复核。

这套分工里最关键的一条是评测程序放在被优化的仓库之外，智能体看不到也改不到。第二条是设置噪声阈值，多次测量后提升超过阈值才被接受。第三条是每轮的代码改动、结果和失败原因都写回经验库，下一轮先读记录再动手。这三条决定了分数可不可信，后两条决定了系统会不会原地打转。

公开榜单成绩：三项任务的对照表

在接入真实研发之前，ERNIE Evolve 先在三项有公开协议和榜单记录的 AI 研发任务上做了验证，分别对应训练算法、训练速度优化和底层算子优化三个层次。

三项任务的性质差异很大。NanoChat AutoResearch 的约束是单卡 5 分钟的固定训练预算内同时权衡模型结构、优化器、学习率策略与执行效率，社区方案被持续优化后单纯改网络结构的空间已经很小。ERNIE Evolve 的做法是在神经网络之外加了两个预测分支，一个用全训练语料的 n-gram 统计，一个检索与当前上下文相似的训练文档，用其中的后续内容做预测，门控根据各分支在此前位置的预测表现动态调整混合权重。

为控制额外开销，方案用不存动量的稀疏优化器管理大型输入表，把 softcap 与交叉熵融合成一个 Triton 算子，并让 CPU 建表与 GPU 训练并行。

NanoGPT Speedrun 被社区优化了两年多、九十多次。Track 1 的改进集中在通信重叠、反向传播和输出层梯度计算，处理了成熟方案里仍然存在的串行等待、隐性数据搬运与昂贵的梯度计算。Track 3 走的是改进更新规则减少收敛步数的路线，两条具体发现是：把矩阵权重拆分为方向与幅度，以及引入基于历史位移的 EMA-Nesterov 外推。官方也写清了这里的一个实现冲突，优化器会从内部状态重写权重，直接加在权重上的外推会被覆盖，所以外推必须作用在分解后的状态上。

SOL-ExecBench 包含 235 个来自真实模型的算子问题。官方榜单发布 7 个多月以来有 700 多名开发者提交了近 5 万次。ERNIE Evolve 的 0.819 分高于 Recursive 与 Hyra-1.0，接近榜首的 0.827。这项官方照实写了没拿第一。

这三项任务的反馈形式完全不同，有验证集 BPB、有训练时间、有训练步数、有算子分数。官方强调 ERNIE Evolve 没有针对某一种指标或代码结构做专门适配，用的是同一套研究闭环。相关基准的详细拆解可以看 SOL-ExecBench 235 题拆解：无问芯穹 71 个单题第一。

真实产线第一条：P800 上 168 小时的四轮探索

公开任务验证通过后，ERNIE Evolve 被接进 ERNIE-5.5-Flash 的推理效率优化，改动与人工提交一样必须通过团队的压测和正确性检查才算有效。

官方列出了真实研发相对公开任务的四重难度。多数任务的基线已经过工程师专项优化，容易拿的收益被拿走。约束更多，改动要进生产代码，确定性、精度、延迟都不能变差，修改范围限定在指定模块内。反馈更难判断，不少有效改进的单项收益与测量噪声在同一量级。开发环境更复杂，真实任务面对的是由推理引擎、算子库、硬件适配插件和服务启动脚本组成的大型代码库，每次实验都要在多卡机器上启动完整的推理服务。

P800 低时延场景的约束是改动限定在昆仑芯适配插件内，模型与部署方式不变，生成结果必须正确。问题定位很具体：低时延推理生成阶段每步计算量很小，时间大多耗在 Python 调用、临时张量分配和主机与设备之间的同步上，这些开销在每层每步重复发生。

第二轮里出现过一个被迅速放弃的尝试，官方记录为用通用集合通信替换专用通信，速度掉了 14.0%，方向随即终止。第三轮只涨 1.4% 时，系统没有继续在原方向堆改动，而是据此重新测量各阶段开销。第四轮的发现来自一次运行时检查，通信模式虽然设成了自动选择，生成请求却仍走普通路径。

这里的口径需要说准。官方表述是生成速度提升至基线的 623.6%，图表纵轴是 QPS 相对基线，基线为 100%。这是低时延单场景的相对值，不等于整体服务成本降到六分之一。国产算力平台上的执行路径优化可以对照 英伟达中国 AI 芯片份额跌至 34%：IDC 报告全解读。

第二条确定性吞吐：3 天、3 个方向与被证伪的假设

强化学习训练要求推理是确定性的。同一请求不论和哪些请求拼批，生成的 token 与 logprob 都必须逐位相同，还要和训练端重新计算整段序列的结果逐位一致。SGLang 的确定性模式为此固定了所有规约顺序，代价是 GPU 算力用不满。

在这个前提下，常规加速手段全部不可用。按 batch 大小选择算子实现、原子加、自适应通信都会改变规约顺序。基线也已包含工程师针对确定性推理的专项优化，剩下的改进单项往往只有 1% 到 2%，与测量波动相当。

官方在这项任务上的措辞是，最终版本的吞吐达到基线的 133.7%，即相对基线提升 33.7%，平均每个 token 的生成时间缩短 26%，首 token 延迟缩短 12%，确定性保持不变。搜索耗时约 3 天，提出 3 个研究方向。

方向三的假设被逐个检验后大部分不成立，这是这份报告里最有价值的部分。推广假设听起来合理，实际落下去大部分证伪，系统最终只保留少数改动就停手，没有为了凑数字继续叠加无效修改。

第三条极致解码：7 个方向只有 3 个有效

这一项优化 ERNIE-5.5-Flash 在 GPU 上的极致解码速度，服务使用投机解码，每步先由草稿模型猜出一段 token 再由主模型一次验证，提速只能来自缩短每步耗时。

工程师此前已为这一场景做过专项优化，跨卡通信和算子之间的空闲都压得很低。剩下的耗时分散在主模型验证和草稿模型生成的大量小算子上，每步只处理几个 token，没有单一热点，不少有效改动单独只带来 0.3% 到 0.5% 的提升，比测量噪声还小。

系统共提出 7 个研究方向，3 个方向带来提升，官方表述是解码速度再提升 14.9%，精度与基线相同，图表纵轴为解码 tokens/s 相对基线，终点 114.9%。

推理优化这类任务的收益曲线形状和训练任务完全不同。训练任务改对了就是改对了，而低时延解码任务里单次改动的收益经常小于噪声阈值，需要靠多次测量累积判断。这也是为什么官方把噪声阈值写成硬规则而不是建议。

这套方法能抄走吗：五条工程纪律

ERNIE Evolve 本体没有对外开放，官方只说公开任务上的优化结果已在 GitHub 开源。但博客里可迁移的工程约束有五条，它们不依赖百度自有的模型和硬件。

第一，评测脚本放在被改仓库之外，Agent 看不到也改不到。第二，写死允许修改的目录或模块，越界改动不进评测。第三，设噪声阈值，多次测量后提升超过阈值才保留。第四，加一道复核，检查改动是否跑题、是否在刷评测。第五，每轮记录改动、分数、失败原因，下一轮先读记录再动手。

前三条决定分数可不可信，后两条决定系统会不会原地打转。P800 第三轮只涨 1.4% 就回头重测开销，靠的正是第五条。

把 ERNIE Evolve 放进同类自动研究系统的坐标系，可以对照 NeoHorse-1.5-Flash：180B 与 ALE 9.23 分的 RSI 第二圈 与 LobeHub Agent 自改 harness：70% 通过率与 1.68 美元成本拆解，两条都是智能体自动改写自身代码并接受评测把关的实践。推理引擎侧的效率优化路线可以看 Together Compiler TKCC 24 小时提速 2.6 倍：常驻引擎拆解。

还没解开的三个问题

第一，所有生产数字都来自百度自述。基线是什么配置、压测负载多大，官方博客没有给到可外部复现的程度。第二，623.6% 是低时延单场景的相对值，不等于整体服务成本降到六分之一。第三，ERNIE-5.5-Flash 的后训练版本尚未发布，用户侧能感到多少速度变化，要等上线后实测。

还有一层更深的疑问。ERNIE Evolve 接手的推理优化任务，特点是目标清楚、结果可验证、可以反复测。官方自己也说这是 RSI 在真实 AI 研发中的第一个落点，下一步要延伸到训练系统优化、模型能力研究、评测体系自迭代。那一步的难点在于，模型能力类实验的反馈周期以周甚至月计，验证成本远高于算子调优。到那时噪声阈值的设定、失败假设的判定方式，都需要重新设计。

官方在文末加了明确的边界声明：RSI 的扩展必须以可控、可暂停为前提，在明确的目标、权限和资源边界内运行，并接受持续的安全评估与人工监督。只有当人类仍能理解、监督和终止系统时，才逐步扩大研究范围。这句话写得很实在，自动研究系统的真正瓶颈往往不是模型能力，而是停下来的能力。

相关阅读

ERNIE-5.5-Flash 本身的架构与训练细节，见 百度文心 5.5 Flash Base 开源：280B 激活 14B，30 项基准对比。递归自我改进方向上的另一条实践是 NeoHorse-1.5-Flash：180B 与 ALE 9.23 分的 RSI 第二圈。

常见问题

ERNIE Evolve 是什么，能自己用吗？

它是一个围绕明确目标与约束自主提出方向、开展实验、验证结果并积累经验的自动研究系统，目前百度没有开放本体。官方表示在 NanoChat AutoResearch 与 NanoGPT Speedrun 上优化得到的结果已在 GitHub 开源，可直接阅读的是那套双层循环与五角色分工的工程纪律。

168 小时和 623.6% 具体指什么？

指昆仑芯 P800 低时延场景的推理优化。ERNIE Evolve 在这个任务上历时约 168 小时，经过 4 个研究方向的探索，最终版本的生成速度达到基线的 623.6%，并通过了全部正确性检查。基线是 100%，这是单场景相对值，不代表整体服务吞吐或成本有同等比例的下降。

确定性推理吞吐 133.7% 是提升还是达到？

是达到基线的 133.7%，即相对基线提升了 33.7%。官方原文写的是吞吐提升 33.7%，图表纵轴为 QPS 相对基线，基线 100%，终点 133.7%。同一项还包含平均每 token 生成时间缩短 26%、首 token 延迟缩短 12%，且确定性逐位不变。