Agnes Harness 怎么装:9B 决策模型与 27 倍成本差拆解

一句话结论:Agnes Harness 是一个 Apache-2.0 开源的智能体运行时,用 9B 决策模型替代大模型做高频判断,把单步延迟从 7.6 秒压到 0.53 秒、单次决策成本压到原来的 1/27,九套公开基准里六项拿到对照组第一。

智能体落地的账现在越来越难算。量子位 11 月 20 日的一篇报道引用了一个说法:过去做一套企业软件开发要花 90 块,给每家客户适配要 10 块,AI 把开发成本从 90 块打到 1 块,剩下那 10 块适配成本却纹丝不动。适配之所以贵,是因为每接一个客户,智能体都得重新认一遍对方的业务流程、工具系统和现场设备。

Agnes Harness 开源在 GitHub 上,2.1k Star,采用 Apache 2.0 许可,允许商用。它给出的解法是把「每家客户不一样」的部分全部做成插件,核心运行时负责跑、记、恢复和管控。更关键的是它引入了一个此前少见的架构选择:用一个小模型专门承担高频决策,把昂贵的推理模型留给真正需要思考的部分。这套东西在自家基准上给出了相当激进的数据,下面逐层拆开看。

四层架构:大脑、小脑、记忆与身体

Agnes Harness(AGH)把自己描述成一个由四个角色组成的系统,仓库 README 里有一句概括很直白:LLM 是大脑,Agnes Sys1 是小脑,Harness 是记忆,MHS 是身体。

角色 职责 当前形态
LLM / 大脑 理解请求、推理任务、提出动作 模型账号与模型适配器插件
Agnes Sys1 / 小脑 从任务上下文里回答结构化问题,支撑判断类功能 默认旁路模型适配器,含国内测试与国际网关两套预设
Harness / 记忆 会话历史、任务状态、执行记录与可复用方法 运行时本体,负责执行、记录、恢复与治理
MHS / 身体 接入设备能力,让任务能读物理状态并请求动作 官方插件形态,接入工作中

整个运行时被描述为 70 个工作区包、六层结构,有 46 组边界检查套件和 2367 个自动化测试文件。内核里有九个强制的能力缝隙,缺少必需提供方时全部 fail closed,不降级放行。事件账本用单写入者 SQLite,加上 RFC 8785 的 JSON 规范化方案与 SHA-256 摘要链,保证每一次外部副作用都有据可查。

外部副作用一旦产生不确定性,系统不会静默重试。执行许可是一次性的,用 WeakMap 认证,绑定持久化副作用序号与意图序号,结果不明确的不可重放副作用会落成 TOOL_OUTCOME_UNKNOWN,等待对账。这类设计在开源智能体框架里不常见,多数项目更愿意把重试逻辑做简单。

小脑实测:0.53 秒对 7.6 秒,成本差 27 倍

Agnes Sys1 1.0 是这套系统自研的决策模型,基于 Qwen3.5-9B 改造。技术报告给出了具体规格:约 90 亿参数,32 层,隐藏维度 4096,层结构是 8 组「3 层 Gated DeltaNet 加 1 层全注意力」的循环。它要解决四类任务,分类、工具选择、请求路由和序数打分。

最有说服力的是一组同硬件对照。在一个密封的家庭漏水仿真环境里,两条路线都被要求判断下一步该做什么,大模型平均单步要 7.6 秒,Agnes Sys1 只要 0.53 秒,差距 14.3 倍。另一组对比在行李房任务上做了 100 次判断,在线大模型单次调用成本约 0.00247 美元,决策模型约 0.000091 美元,单次决策成本只有前者的约 1/27。

测量项 Agnes 侧 大模型侧 差距
家庭漏水仿真单步延迟 0.53 秒 7.6 秒 约 14.3 倍更快
行李房单次决策成本 0.000091 美元 0.00247 美元 约 27.1 倍更低
火星基地决策序列 18/18 正确(带完整工具规格) 13 到 14/18(仅给简略描述) 依赖前置条件声明
餐厅场景决策 15/16 正确,零错误动作 一次安全交还给大模型 不确定时回退
在线大模型提示缓存命中率 约 83% 混合模式实测值 决定混合调用成本

决策模型与小模型配合的分工也很清楚。高置信度、已知的状态转移交给小脑,用户意图、开放式规划、自由格式参数、异常处理和最终回复交回大模型。出现低置信度、重复动作、报错或超时,控制权立刻交还大模型。两条路线共用同一套内核和硬件安全闸门,所以省下的只是推理成本,不是安全校验。

顺带一提,这套思路和站内之前拆过的那套把智能体改自己脚手架的路子是同一族思路,都归在递归自我改进框架下,那篇 LobeHub Agent 自改 harness 的 70% 通过率与 1.68 美元成本拆解 里对成本结构的分析可以直接对照着看。相比之下,DeepSeek Harness 走的是另一条工程路线,它的技能安装要手动改 SKILL.md,细节在 DeepSeek Harness 技能手动装的四个失效点 里。

九套基准拆开看:哪些是真第一,哪些是自评

报告用九套基准评估了 AGH,对比对象是明确的系统级配对:AGH 配 agnes-next-preview,DeepSeek Harness 配 deepseek-v4.1-flash-1017,Codex 配 gpt-5.6-sol。报告自己写得很清楚,这些是端到端的系统分数,不能单独隔离出 harness 本身的贡献。

基准套件 AGH 成绩 需要注意的上下文
WorkBuddy Code 78.17 / 100 80 个仓库任务,三次重复
BigCodeBench-Hard V1 40.69% 通过率
aider-python 83.33% Codex 配对报告为 91.67%,更高
TraceTrial-Bench 71.8 / 100 harness 级总分,与第二名并列
AppWorld appworld-dev 91.67% 与 Codex 配对并列
tau-bench text-v1 英文 87.33% 策略约束对话通过率
DeepPlanning 87.07 / 100 报告自定义加权分
AGH-Benchmark 34.62% 内部多轮与办公流程自动通过率
MHS-Benchmark 41.0 / 100 桌面 GUI 22.5%,物理现场操作 53.3%

这组成绩里有几处必须点破的地方。aider-python 上 Codex 配对是 91.67%,比 AGH 高出 8.34 个百分点,报告没有回避这一点。MHS-Benchmark 更直接,报告点名桌面 GUI 那 40 道任务里 AGH 只过了 9 道,落后于两个对比配对,自己称之为「grounding 前沿」。也就是说,这套系统在代码类基准上表现扎实,在操作真实桌面界面这类需要空间定位的活上还差得远。

另外还有一条容易被忽略的口径:报告里的九项基准是系统级成绩,Sys1 决策模型的能力表是另一组数据,来自团队提供的评测表,报告明确写了这些数值沿用此前的内部估算,本次发布没有做独立复评。所以引用时不能把两套数字混在一起当成同一个成绩单。

Sys1 那张能力表本身也有意思。它跟三个开源决策模型做了对照,Agnes Sys1 1.0 在 HLE-MultiChoice 上拿到 38.8%,三个对照分别是 15.0%、17.5% 和 18.3%,差距很大。AA 综合指数 71.2,参考对象在 64.7 到 65.2 之间。但同一张表里,Agnes 的 Omniscience 非幻觉率是 75.2%,比 64.7 分那个参考低了 18.0 个百分点。也就是说准确率更高,但说错话的倾向也更大,两项得一起看。

递归自改进:只改手册,不动权重

AGH 的自进化分两层。会话内的改进是临时的,离线的跨任务进化改的是版本化的 Playbook 数据,涵盖提示词、工作流、事实规则和决策阈值。这一层明确不动模型权重、不动可执行代码、不动硬件安全保护,也不改评分器、预算和发布闸门。

候选方案要在隔离的双世界仿真里评估,训练集、评估集和密封集分开,还要人工签字,之后进入 200 个任务的现场试用,带统计意义上的自动回滚策略。报告给了四个闭环仿真的例子:行李房任务优化并冻结 Playbook 后,三次独立运行都过了 9/9;机械臂单故障和多故障任务各三次运行都是 10/10;入库收货任务四次准时运行都是 9/9。三个带耗时对比的任务,时间下降幅度在 44% 到 75% 之间。

报告同时把边界划得很清楚,这些是密封双世界仿真的结果,不是现场物理指标,也没有宣称零样本跨场景泛化。这条限定很重要,前面那些 14 倍、27 倍的数字同样出自仿真环境。

怎么装:Node 24.10 起,五条命令进工作台

对想上手的人来说,门槛不算高但也不为零。AGH 目前是开发者预览版(pre-alpha),只能从源码构建。仓库要求 Node.js 24.10 以上,pnpm 固定在 10.34.5,通过 Corepack 调用。macOS 需要 Xcode 命令行工具,命令沙箱用的是 Seatbelt;Linux 需要 bubblewrap 而且用户命名空间得可用,光有 bwrap 二进制不够;Windows 需要匹配 Node 的头文件、Visual Studio C++ Build Tools 和 Windows SDK。

构建流程在仓库根目录跑这五条:

mise trust
mise install
mise exec — node tools/toolchain/run.mjs install –frozen-lockfile
mise exec — node tools/toolchain/run.mjs –filter @agnes/cli build:local
mise exec — node agnes.mjs serve

最后一条会打印本地回环地址、所选 home、配置档和诊断摘要,浏览器打开这个地址就是工作台。首次运行三步走,连接模型、选工作文件夹、开始对话。每一步都能跳过,也可以选本地 Demo 模式不填 API 密钥先跑起来。终端里跑 node agnes.mjs sessions –json 能看到共享的会话历史,Web 端起的会话用 /resume 加会话 ID 就能在终端接上。

home 目录用 AGH_HOME 指定,必须是绝对路径,默认 ~/.agh。新建的目录权限是 0700,标记文件 0600,凭据与配置文件也要求 0600。非空目录如果没有版本标记会被直接拒绝,旧版本的数据不迁移,需要按升级指南备份后重建。命令沙箱这块和 Codex 的权限模型可以对照着看,Codex 沙箱在三大平台的权限模型 那篇讲的是同一类问题,只是平台覆盖范围和实现方式不同。

插件是这套系统的核心机制。工具、Agent 循环、模型适配器、Web 面板、Skills、钩子、MCP 连接、业务服务都能打包成插件,一个插件发布时带上 package.json,用 vX.Y.Z 标签发布,打上 ghp-plugin 主题就能被 agh plugins add 装进来。已有系统可以直接通过 MCP 接进来,这部分安装与排错在 MCP 服务开 HTTP 端口的六类报错实测 里有专门说明。如果想在本机跑本地模型接进这套运行时,DeepSeek Harness 接本地 Ollama 的上下文坑 是同类参考。

三道必须问的问题

Agnes Harness 到底是什么。

它是一个从源码构建的智能体运行时,不是托管服务,也不是通用模型。把差异放进插件,运行时负责跑、记录、恢复和治理,并把验证过的经验带到下一次部署。想做自改脚手架的路线,可以先读那篇 LobeHub 与 FrontierHarness 的 70% 通过率 做对照。

0.53 秒和 27 倍成本差是真实测量还是自评。

前半句来自密封仿真环境的同硬件对照,样本量小(表格记录为 8 步和 10 步);后半句来自 100 次调用对比,且明确不是整任务总成本。报告自己标注了这些口径。九套基准是端到端系统分数,无法隔离出 harness 的独立贡献。

现在能上生产吗。

不能。README 的 FAQ 直接写了还不行,AGH 是没有公开包发布、没有安装器、没有升级承诺的开发者预览版。普通后端插件以受信进程内代码方式运行,只有受支持的执行路径才走审批和命令沙箱。Windows 端到端尚未验收,也没有 L1 命令沙箱,联网隔离不可用。

小结

Agnes Harness 值得看的地方有两点。一个是架构上把小脑独立出来,用 9B 模型承担高频判断,把大模型留给需要推理的部分,这在智能体框架里不算常见思路。另一个是它对数据的克制,报告主动标注了哪些数字是仿真、哪些没做独立复评、哪些基准落后于对比方。

需要提醒的是,它的亮点数字几乎全部来自仿真环境,九套基准里最强的一项是自建套件,桌面 GUI 那类落地环节明确落后。MHS 设备协议还在接入中,Windows 支持没有验收。它现在适合的是想研究「小脑加大脑」双系统架构、或者需要一套开源运行时做插件化交付验证的人,不是可以直接上生产的成品。

相关阅读

全部文章归档与模型专题