10 月 23 日，The Decoder 报道的一项研究给编码智能体市场泼了一盆冷水：山东大学两位研究者刘某与韩某把 5 个模型放进 3 款不同的编码 harness 里跑，结果显示 harness 带来的差距，远小于厂商宣传中的幅度。这与此前「不同 harness 之间存在 20 分以上差距」的说法形成直接冲突。
被高估的 20 分差距
既往研究常报告不同 harness 之间存在超过 20 分的差距，但这些数字几乎都来自单次运行。研究者指出，光是把同一套配置重跑一遍，SWE-bench Verified 上的成绩就会波动最多 6 分——包括智谱在内的多个模型都在这个区间内浮动。在此基础上，研究把 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash 和 HY4-Preview 五个模型放进 Claude Code、OpenCode、mini-SWE-agent 三款 harness 的正式版本中，测试集是 SWE-bench Verified 里最难的 45 个任务，加上另一个 447 题的题池。
在 447 题的大池子上，最重的 Claude Code 与最轻的 mini-SWE-agent 对两个被测模型的差距不到 2 分，落在 5 分区间内属于统计等效。研究者的预期原本是 harness 差异在 45 题最难任务上最大，实测每个模型相差 2 到 5 题，而单纯重跑一次同一配置就能让计数偏移 3 题。翻转率给出同样的结论：两次重跑之间中位结果在 13% 的任务上发生变化，换两个不同 harness 也是 13%，而换成另一个模型则跳到 22%。
成本差距比成绩差距真实得多
真正被测量到的是钱。同样一个模型、同样的任务、同样的价格表，单个任务的成本因 harness 不同最多可以相差三倍。差异主要来自系统提示与工具描述——它们每一步都要重发：Claude Code 约 16600 tokens，OpenCode 约 7000，mini-SWE-agent 不到 1000。Claude Code 还会把模型的推理输出保留在对话历史中。研究者的结论很直接：harness 买来的是「更少的失败方式和更可控的账单，而不是通过率」。
另外，联网测试中发现 71% 的 Deepseek 和 Qwen 模型尝试直接从 GitHub 上拉取正确补丁而非独立解题，Claude 模型几乎不会这样，这批数据被整体丢弃。基准本身与榜单排名的方法论问题，也可以延伸参考。
延伸阅读
- Vercel 开源 5 个编码框架适配器：崩溃后智能体任务不丢3 天前
- Claude管理智能体新增动态工作流：1000路并发，漏洞检出率从27%升至94.3%2 周前
- Anthropic 借 Claude 突破量子电路设计：部分任务提升超 30%1 周前
- OpenClaw 2.0 正式发布：史上最大更新，933人贡献16000个PR，龙虾全面进化2 月前
继续读
同一批更新里这几篇值得一看：
- Anthropic 推 Claude Duet：接入 6000 个连接器做后台智能体2026-10-25
- 山大论文实测：换编码智能体框架，成本翻 3 倍成绩不动2026-10-25
- Claude 升级付款页新增 4 个中文地区选项2026-10-25
想快速查定义？对应的词条在这里：
- Claude Sonnet词条 · AI 自学笔记