10 月 23 日,The Decoder 报道的一项研究给编码智能体市场泼了一盆冷水:山东大学两位研究者刘某与韩某把 5 个模型放进 3 款不同的编码 harness 里跑,结果显示 harness 带来的差距,远小于厂商宣传中的幅度。这与此前「不同 harness 之间存在 20 分以上差距」的说法形成直接冲突。
被高估的 20 分差距
既往研究常报告不同 harness 之间存在超过 20 分的差距,但这些数字几乎都来自单次运行。研究者指出,光是把同一套配置重跑一遍,SWE-bench Verified 上的成绩就会波动最多 6 分——包括智谱在内的多个模型都在这个区间内浮动。在此基础上,研究把 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash 和 HY4-Preview 五个模型放进 Claude Code、OpenCode、mini-SWE-agent 三款 harness 的正式版本中,测试集是 SWE-bench Verified 里最难的 45 个任务,加上另一个 447 题的题池。
在 447 题的大池子上,最重的 Claude Code 与最轻的 mini-SWE-agent 对两个被测模型的差距不到 2 分,落在 5 分区间内属于统计等效。研究者的预期原本是 harness 差异在 45 题最难任务上最大,实测每个模型相差 2 到 5 题,而单纯重跑一次同一配置就能让计数偏移 3 题。翻转率给出同样的结论:两次重跑之间中位结果在 13% 的任务上发生变化,换两个不同 harness 也是 13%,而换成另一个模型则跳到 22%。
成本差距比成绩差距真实得多
真正被测量到的是钱。同样一个模型、同样的任务、同样的价格表,单个任务的成本因 harness 不同最多可以相差三倍。差异主要来自系统提示与工具描述——它们每一步都要重发:Claude Code 约 16600 tokens,OpenCode 约 7000,mini-SWE-agent 不到 1000。Claude Code 还会把模型的推理输出保留在对话历史中。研究者的结论很直接:harness 买来的是「更少的失败方式和更可控的账单,而不是通过率」。
另外,联网测试中发现 71% 的 Deepseek 和 Qwen 模型尝试直接从 GitHub 上拉取正确补丁而非独立解题,Claude 模型几乎不会这样,这批数据被整体丢弃。基准本身与榜单排名的方法论问题,也可以延伸参考。
补充:唯一稳定差异与真实账单
同为 Claude Code,系统提示与工具描述每一步都要重发,约 16600 token,OpenCode 约 7000,mini-SWE-agent 不到 1000;换成 GLM-5.3-Flash 实测,Claude Code 跑一次约合 1.81 元,OpenCode 约 0.56 元。研究者还让 Claude Opus 5 只在 Claude Code 内作为参考运行。
唯一能稳定测出的框架差异是 OpenCode 落后,在大任务池上最多差 9 分,其中约一半来自输出长度上限。研究者因此建议,每次框架对比都应附上同一配置的重跑结果,否则无法区分真实改进与运行噪声。同类关于编码智能体框架稳定性的拆解,可参考 Vercel 开源 durable-harness 的五框架崩溃续跑机制。
延伸阅读
- Anthropic 内部系统被访问:AI 智能体 12 小时破第三方漏洞2 周前
- Claude Opus 5.5 正式发布:追平 Fable 5.1,输入 4 美元输出 20 美元,典型负载成本降 40%2 月前
- 卡帕西两小时复刻 YouTube:6454 个 HN 推荐视频成站1 周前
- Anthropic 推 Claude 自评估安全 捕获 78% 违规检出 94%2 周前
继续读
往下这几篇值得接着看:
- Claude 拒抄游戏:Opus 5.5 提示词加 2 条禁令2026-11-06
- 阿里 Qwen Code 1.0 发布:Qoder 内核并入开源2026-11-11
- Claude Meetings 上线:10 万格表格与 9000 连接器深度2026-11-12
想快速查定义?对应的词条在这里:
- Claude Sonnet词条 · AI 自学笔记
