LobeHub Agent 自改 harness：70% 通过率与 1.68 美元成本拆解

LobeHub 用 Kimi K3 在 FrontierHarness 的 30 道软件工程任务上通过 21 道，通过率 70%，每个成功任务成本 1.68 美元，官方称在 13 个 harness 对比中排名第一。但按基准自身的评测规则，这组数字最多只能算预告。真正值得看的是成本结构，以及为什么 30 道题排不出名次。

LobeHub 团队的做法是让 Agent 改自己的 harness。模型权重冻结，七天里让 Lobe Agent 探索优化脚手架，然后用优化后的版本跑评测。这个思路被归入递归自我改进（RSI）框架，配套的 Awesome-RSI 仓库已经积累 243 条链接、977 个 Star。

70% 通过率是怎么算出来的

先说清楚这个基准的构成。FrontierHarness Eval 由 Runta 公司在 2026 年 9 月 1 日发布，不是 LobeHub 自己的基准。任务共 30 道，其中 21 道来自 Terminal-Bench 2.1，9 道来自 DeepSWE 的真实仓库 feature-request 任务，每道题都有确定性验证程序。

评测设计上有一个关键约束。固定模型为 Kimi K3，通过 Fireworks 提供服务，网关同时支持 OpenAI Responses API 与 Anthropic Messages API，让每个 harness 用各自的原生协议访问同一份权重。原始评测矩阵包含 12 个配置、9 个 harness 家族、总计 360 次运行，每格只跑一次。基准配置里的选择规则写得很直白：first valid attempt 1。

原因写在官方文档里。重试天然有更热的 prefix cache，best-of-N 选择会系统性地把质量往上偏置。所以正式评测必须每题一次，调试阶段还不允许跑任何 benchmark 任务，否则 provider 的前缀缓存会保持温热数小时。

LobeHub 的官方帖子承认对比包含 selected retries 和执行环境差异，不应被理解为官方排行榜排名。图表脚注写的是每题一个 selected trial，但这个词与基准的 canonical_selection 不是一回事，最可能的含义是这唯一一次被选中展示的尝试是从多次尝试里挑出来的。

成本跨度比通过率跨度大得多。最低的 Exo Harness 每通过一题 1.05 美元，最高的 Claude Code 18.34 美元，差出 17 倍。而通过率从最高的 Codex 66.7% 到最低的 Hermes 与 OpenCode 50%，只差 5 道题。这个不对称是整个基准最值得琢磨的地方。

30 道题排不出名次：统计上的三个证据

把 21/30 当成一个可比较的成绩单，先看置信区间。95% Wilson 区间下，LobeHub 的 21/30 落在 52.1% 到 83.3%，Codex 的 20/30 落在 48.8% 到 80.8%，Hermes 与 OpenCode 的 15/30 落在 33.2% 到 66.8%。区间大面积重叠。

Fisher 精确检验的结果更直接。21/30 对 20/30 的 p 值是 1.0，对最低场次 15/30 的 p 值是 0.187。要在 30 题规模下压到 p 小于 0.05，另一方得掉到 12/30 以下，官方没有任何配置做到这个分数。

第三组证据来自逐任务配对。所有官方配置都跑同一批题，所以可以做 McNemar 配对检验，只看不一致的题目。全部 66 对官方配置的最小 p 值是 0.0625，出现在 Codex 与 Hermes 之间，Codex 通过而 Hermes 失败的有 5 题，反过来是 0 题。连官方最高分与最低分之间都够不到传统的显著性门槛。

重试能把分数抬多少也有估算。按 12 个官方配置在每道题上的通过比例反推，一个中等水平 harness 单次通过约 17.4 题，best of 2 约 20 题，best of 3 约 21.6 题，best of 5 约 23.5 题。也就是说从 21 题这个位置出发，只要在几道接近抛硬币的题上保留最佳重试，一个普通 harness 也能摸到同样的数字。

1.68 美元的构成：缓存命中率的杠杆

这个数字是整个实验里最有价值的部分，因为它的口径可以被拆开验证。基准用的是冻结价格卡 kimi-k3-2026-08-20，新鲜输入每百万 token 3.00 美元，缓存输入 0.30 美元，输出每百万 token 15.00 美元，新鲜与缓存输入是 10 比 1 的关系。

基准自己的 effective_cost_per_pass 口径是三十个任务的总成本除以通过任务数，失败任务的钱也算在内。LobeHub 图表横轴写的是每任务成本中位数，回复里确认 1.68 美元是每个成功任务，两种算法不等价。

按 86.2% 缓存命中率代入，缓存输入成本是 3.00 乘 0.138 加 0.30 乘 0.862，等于 0.67 美元每百万输入 token。未命中缓存的部分只占输入 token 的 13.8%，却吃掉输入成本的 61%。这就是缓存杠杆的量级。

如果平均每题尝试数是 1.5，且被丢弃的尝试也计费，同一次运行的成本会超过 2.50 美元每通过题。1.68 美元是否包含被丢弃尝试的费用，是这个数字的核心未决问题。

Claude Code 的 18.34 美元怎么解释

这个高价主要反映 harness 与缓存机制的适配差异，而不是 Claude Code 本身在所有环境都昂贵。Claude Code 的每任务缓存命中率中位数是 67.8%，按 token 加权后只剩 25.0%，而其他 harness 在这个口径下是 91.6% 到 99.1%。

最贵的一道题是 python-statemachine-state-data-scoping。Claude Code 在这题跑了 381 轮，成本 64.36 美元，缓存命中率 15.7%，这一题单独占了它全部输入 token 的 68%。同一道题 Pi 的成本是 2.50 美元，缓存命中率 98.2%。

原因是 Claude Code 围绕 Anthropic 显式 cache-control 语义设计，而 K3 经 Fireworks 用的是隐式前缀缓存。同一段只追加的对话大约每 5 次调用只有 1 次能完整命中，其余调用可能完全不命中。所以 1.68 对 18.34 这个对比，很大程度是在比不同 harness 对特定网关缓存机制的适配度。

可控性缺口：四件尚未披露的事

LobeHub 承诺会开源脚本、执行轨迹与技术报告，但截至目前这些都还没放出。这意味着有几个关键问题无法回答。

第一是优化前后的 harness diff。没有 diff 就无法知道一周里改的是 prompt、工具、上下文压缩、重试策略还是缓存逻辑。第二是优化用的任务集。LobeHub 仓库里已经带了可运行的 FrontierHarness runner，而评测题目本身是公开的，评测集是否进入过优化循环无法排除。第三是全部尝试记录，30 道题各跑了几次、每次是否计费、丢弃的尝试花了多少钱，一概不知。第四是匹配控制组，基准自己的建议是在宣称可比性之前，用完全相同的模型、适配器、执行环境、网络模式与拓扑，跑一遍优化前的 Lobe Agent。

执行环境差异也已经被标出来。LobeHub 的 runner 用共享主机上的 Docker 跑任务，不做每题的 checkpoint 恢复，镜像缓存会持续存在；官方要求每题全新恢复，包括记忆状态。运行记录里直接写了 methodology_comparable 为 false。另外 LobeHub Cloud agent 自行选择模型，kimi-k3 只是记录标签，不等于官方基准所用的那一份权重。

比成本更重要的：Agent 已经进了真实研发流程

榜单之外，LobeHub 团队自己的日常研发已经跑通了 Agent 协作链。10 月 28 日的一个需求是让任务工具在创建任务时能指定模型，交给主管 Agent Nasa 后，它建了编号 T-1149 的任务，派给 Coding Agent Dario，Dario 交出 Pull Request #21852，随后 OpenAI 的 Codex 代码审查机器人上来挑问题，Dario 修改并补测试，最后通过人工审阅合并。

跨项目协作也发生过。Agent-foundry 项目需要 lobe-ui 组件库加自定义中性色支持，两个项目的 Agent 自己接上了头，lobe-ui 发布 6.0.1 版本，上游自动收到升级通知。

持续执行能力有实测数据。一项客户端数据迁移任务里，Agent 连续跑了 2 天 3 小时 47 分钟，期间拆出 60 个任务，完成 56 次独立迁移。团队成员透露自己已经三个月没在本地启动过 Dev Server，体感效率提升 3 到 5 倍。

机制层面的三个设计值得单独看。一是把 Agent Loop、Session 状态与工具运行环境拆开管理，用户退出对话后任务仍在后台推进。二是把工作目标、任务进度、交付文件与验收记录放进共享工作空间，接手的 Worker 知道上一位做了什么。三是 Acceptance 多模态验收，Agent 交作业时附上测试结果、截图、录屏等证据，人握最终验收权。

值得一提的是 LobeHub 的路线起点比多数人以为的早。2023 年开源 LobeChat，2026 年 1 月的 2.0 版本引入 Agent Group 与 Memory，5 月推出 CAO 编排能力，拆任务、派活、协调 Agent 都交给 AI 自己张罗。同期DeepSeek Super-agent探索了架构层面的人机协同路径，两边思路接近但落地方式不同。LobeHub 还提出了自驱动组织的 L1 到 L5 分级，团队内部目前运行在 L3，部分场景在向 L4 迈进。

第三方实测里，量子位记者用 LobeHub 组了一支 AI 编辑部：一位主编 Agent Sienna 带三位小编，分别盯大厂人事、开源项目与前沿模型。主编在不到 8 分钟内交回 6 条选题简报，遇到信源模糊的选题会退回重找。第二轮里主编发现原班人马专业不对口，10 分钟后自己新建了两个 Worker，一个做网页开发一个做 QA，30 分钟产出可筛选可搜索的热点看板，全程没有再喂过一条指令。

这个实验改变了什么

把结论收窄到能站住的范围内。同模型同任务下成本差十倍，是 harness 的结果，不是模型的结果。这一点对做 Agent 基础设施的人有直接价值：优化脚手架的收益可能远大于换模型。

而排名声明目前不可复现也不可严格比较。30 道题加上 selected retries，撑不起 13 个 harness 的名次。第三方提交的候选里 Alma 25/30、MiniMax Code 23/30、KOT 23/30，都还没合并也各带偏离条件；把 LobeHub 放进这个更宽松的比较里，21 题排第 5。

更值得等的是那份技术报告。四项披露里最关键的是控制组，它能把排名第一变成优化前到优化后的真实差值。Agent 自我改进这条路到底值不值得投入，看的应该是这个 effect size，而不是一个带星号的图表。

常见问题

LobeHub 的 70% 通过率是真的吗？

数字本身来自官方实测，30 题通过 21 题，每题都有确定性验证程序。但对比使用了挑选过的重试，且执行环境与官方基准不同，运行记录标注 methodology_comparable 为 false。所以 70% 可以当作实验结果，不能当作可复现的排行榜成绩。

FrontierHarness Eval 是什么基准？

由 Runta 公司 2026 年 9 月 1 日发布的公开基准与结果集，固定模型只改 harness 来测量脚手架效应。任务 30 道，21 道来自 Terminal-Bench 2.1，9 道来自 DeepSWE，原始矩阵 12 个配置跑 360 次，每题只允许一次有效尝试。

1.68 美元比 Codex 的 3.47 美元便宜，说明什么？

说明缓存命中率和对 provider 缓存机制的适配对成本影响极大，86.2% 的缓存命中率把输入成本压到 0.67 美元每百万 token，而 Claude Code 按 token 加权只有 25% 命中率导致成本高出十倍。结论是 harness 层的优化收益被低估了，而不是 LobeHub 已经全面优于其他方案。

自己搭一套 Agent 研发流程要多久？

参考 LobeHub 的路径，从 Agent 协作平台开源到把 Agent 接进派任务、写代码、审查修改的日常流程，团队用了大约半年。可复制的部分包括共享工作空间里的目标与验收记录、后台持续执行的 Loop，以及多 Agent 之间的任务接力。腾讯 Agent 四层栈那篇拆过类似体系里的数据断点问题，踩坑位置有参考价值。

小结

这轮实验给出两个结论，一个被夸大，一个被低估。被夸大的是名次，30 道题加挑选重试排不出 13 个 harness 的真实排序。被低估的是 harness 层的杠杆，同一份 Kimi K3 在不同脚手架里单任务成本能差十倍，而官方基准里所有配置的通过率只差 5 道题。想认真评估这条路，得等那份技术报告里的优化 diff 与控制组结果。

站内的 Agent 基础设施内容可以对照两篇看：Kimi Hosted Agents 托管沙箱算的是托管方案的每小时成本与技能数量，Kimi K3 技术报告解读讲的是 2.8 万亿参数 MoE 与 90% 编码缓存命中率的设计来源，正是本篇 86.2% 缓存命中率能成立的基础。