英伟达开源 SoL-Pi,智能体 token 消耗降约 49%

英伟达 NVlabs 开源了一个叫 SoL-Pi 的智能体框架。它不改模型权重,只在 harness 这一层动手,就把长时程任务的 token 流量压掉约 49%,分数保留约 94%。如果你在用 agent 跑长任务,账单能省下来的比例大概就是这个量级。

省钱机制是搜出来的,不是拍脑袋

团队的做法有点意思。他们没有靠经验直接改代码,而是让一个自动研究循环自己去试。一共铺开 152 个研究方向,跑了 3000 多次实验,最后活下来的只有 4 个机制,Action Fusion 和 Context Compact 是其中两个。

自动搜索本身不稀奇,稀奇的是筛完只剩个位数。这说明真正能省 token 的手段并不多,大部分方向是无效的。

EdgeBench 上的实测结果

指标 变化
token 流量 减少约 49%
任务分数 保留约 94%
每小时 API 成本 少花 4.36 到 5.71 美元
搜索规模 152 个方向,3000 多次运行

分数保留 94% 配 49% 的流量削减,这个性价比是它值得关注的原因。省一半代价换掉六个点的性能,对大多数长时程任务来说都是划算的。

每小时能省多少钱

API 成本每小时少花 4.36 到 5.71 美元。单看数字不大,但它是按小时计的。长时程任务跑一整天,差距就明显了。

常见问题

需要重新训练模型吗

不需要。SoL-Pi 的改动全部落在 harness 层,模型权重完全不动,所以可以直接套在现有智能体上。

代码在哪里

论文已在 NVlabs 名下开源。至于配套仓库的具体地址,我这边的素材没有给出,需要去 NVlabs 的主页确认。

小结

SoL-Pi 提供的是一个方向性的证据,智能体的成本大头未必在模型本身,harness 层的工程优化同样有接近一半的空间。对要做长时程 agent 的团队来说,这份论文值得花时间读。

相关阅读

这条线上还有几篇站内文章可以接着看: