10 月 24 日，山东大学 Liu 与 Han 的一篇论文给编码智能体框架的竞争泼了冷水。固定模型只换框架，成绩变化幅度接近同一配置重跑一次，成本却可能翻三倍。论文标题直接给出答案，harness 买到的主要是 token 而不是通过率。
五个模型乘三个框架的对照实验
研究者用 Claude Code、OpenCode、mini-SWE-agent 三个框架的出厂版本，跑 Qwen3.6、Qwen3.8、Deepseek-V4-Flash、GLM-5.3-Flash 和 HY4-Preview 五个模型，Claude Opus 5 只作为参考在 Claude Code 内运行。任务取 SWE-bench Verified 最难的 45 题加另外 447 题，若干配置跑两遍以测量噪声。早期带网络访问的测试里，Deepseek 和 Qwen 系列有 71% 的尝试直接从 GitHub 拉到了正确修复，研究者丢弃了这批结果并对全部后续运行切断网络。
换框架的影响接近噪声水平
在 447 题的大池子上，最重的 Claude Code 与最轻的 mini-SWE-agent 对两个模型的差距不到 2 分，落在 5 分带内统计等价。在 45 题难题上框架差异是每个模型 2 到 5 题，而同一配置重跑就能让计数偏移最多 3 题。两次重跑之间中位结果在 13% 的任务上翻转，两种不同框架之间同样是 13%，换成不同模型则跳到 22%。此前各家宣传框架领先 2 分以上的对比，多半落在噪声区间内。
账单由系统提示词和工具描述决定
同为 Claude Code，其系统提示与工具描述每一步都要重发，约 16600 token，OpenCode 约 7000，mini-SWE-agent 不到 1000。用 GLM-5.3-Flash 时，Claude Code 跑一次约合 1.81 元，OpenCode 约 0.56 元。唯一可稳定测出的框架差异是 OpenCode 落后，在大任务池上最多差 9 分，其中约一半来自输出长度上限。研究者建议每次框架对比都附上同配置重跑结果，否则无法区分改进与运气。
延伸阅读
- Cumora：yetone 开源的 AI Agent 团队协作平台，AI 作为一等公民降临团队沟通1 月前
- Google发布EmbeddingGemma 2：740M参数开源多模态Embedding，8K上下文支持音视频语义检索2 周前
- Anthropic 发布 Claude Science：科研 AI 工作台上线，资助 50 个项目最高 3 万美元额度1 月前
- 讯飞与支付宝启动讯宝计划：座舱 3.0 接入四大生活场景2 小时前
继续读
同一批更新里这几篇值得一看：
- 清华 AIR 孵化紫荆智康：54 位 AI 医生分身进医院门诊2026-10-25
- 讯飞与支付宝启动讯宝计划：座舱 3.0 接入四大生活场景2026-10-25
- SpaceX 与特斯拉设特别委员会：合并估值或超 3 万亿美元2026-10-25
想快速查定义？对应的词条在这里：
- AI Agent词条 · AI 自学笔记