谷歌让 AI 自改框架:成功率从 2.5% 升到 40%

11 月 17 日,谷歌团队在论文中给出一组对比实验。只优化提示词,AI 智能体的成功率反而从 5% 降到 2.5%;如果让优化模型直接改写自己的运行框架 Harness,成功率升到 40%,比原始水平提升 8 倍。

142 行初始智能体被拆成四块

团队把仅 142 行的初始编程智能体拆成四块逐一改造,Harness 分别负责上下文与记忆管理、多轮任务调度、工具调用以及结果验证。也就是说,被优化的对象换成了承载整个智能体行为的运行框架,提示词只是其中最表层的一层。实验给出的结论很直接,改框架比磨提示词更有效。反过来看,单纯在提示词上打磨反而可能把成功率越调越低,这正好解释了为什么自动优化提示词有时会适得其反。

对智能体能力评估的意义

这类结果把智能体自改进的讨论从提示词工程挪到了系统工程层面,评估对象从输入变成了智能体自身的行为组织方式。四块拆分之所以有效,是因为上下文管理、多轮调度、工具调用与结果验证各自都有独立的优化空间,提示词只能触及其中最表层的一层。这类工作把优化对象从一段静态文本换成了一个持续演化的代码库,评估方式也随之改变。另一份从任务完成度角度的观察可以对照 OpenAI 研究加速报告:智能体独立完成 46% 的 2 小时任务。

全部文章归档与模型专题