Endor Labs 智能体安全基准:33 组组合最高功能正确率 87.2%

Endor Labs 在 10 月 23 日公开了名为 Agent Security League 的开放基准,用一套真实任务同时衡量编码智能体的功能正确率与安全正确率。榜单共收录 33 组智能体与模型组合,覆盖 200 个任务,任务取自 108 个开源 Python 项目,横跨 77 类 CWE 漏洞。

功能跑通不等于写得安全

榜单把两个指标分开统计。功能正确率最高的是 Claude Code 搭配 Claude Fable 5.1,达到 87.2%,安全正确率同样是这一组,37.4%。Codex 搭配 GPT-6 Astra 的功能正确率为 82.1%,安全正确率 34.6%;Codex 搭配 GPT-6.1 Sol 为 77.7% 与 34.1%。Cursor 搭配 Gemini 4 Argon 功能正确率 78.8%,安全正确率 29.0%。

榜单另一端差距明显。Cursor 搭配 Gemini 3 Pro 的功能正确率只有 27.9%,安全正确率 5.6%;Claude Code 搭配 Gemini 2.5 Pro 更低,功能正确率 19.6%,安全正确率 5.0%。同一款模型装进不同的智能体外壳,结果可以差出数倍。

基准的构造方式

这套基准在 CMU 的 SusVibes 基础上扩展而来,把漏洞类型作为任务的一部分,而不是在生成代码之后再做扫描。任务取自 108 个真实的开源 Python 项目,横跨 77 类 CWE 漏洞,模型需要在写出可用代码的同时不引入新的缺陷。榜单收录的智能体外壳包括 Claude Code、Codex、Cursor 和 SWE-Agent,可对照的模型有 Claude Fable 5.1、GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5、Claude Opus 5、Gemini 4 Argon 等二十余款。

Endor Labs 表示榜单会随新的商业智能体和模型发布持续更新,页面同时列出每组跑分的日期,最近一次更新落在 10 月 16 日,其中 Cursor 搭配 Gemini 4 Argon 的成绩即为该批次新增。