Endor Labs 在 10 月 23 日公开了名为 Agent Security League 的开放基准,用一套真实任务同时衡量编码智能体的功能正确率与安全正确率。榜单共收录 33 组智能体与模型组合,覆盖 200 个任务,任务取自 108 个开源 Python 项目,横跨 77 类 CWE 漏洞。
功能跑通不等于写得安全
榜单把两个指标分开统计。功能正确率最高的是 Claude Code 搭配 Claude Fable 5.1,达到 87.2%,安全正确率同样是这一组,37.4%。Codex 搭配 GPT-6 Astra 的功能正确率为 82.1%,安全正确率 34.6%;Codex 搭配 GPT-6.1 Sol 为 77.7% 与 34.1%。Cursor 搭配 Gemini 4 Argon 功能正确率 78.8%,安全正确率 29.0%。
榜单另一端差距明显。Cursor 搭配 Gemini 3 Pro 的功能正确率只有 27.9%,安全正确率 5.6%;Claude Code 搭配 Gemini 2.5 Pro 更低,功能正确率 19.6%,安全正确率 5.0%。同一款模型装进不同的智能体外壳,结果可以差出数倍。
基准的构造方式
这套基准在 CMU 的 SusVibes 基础上扩展而来,把漏洞类型作为任务的一部分,而不是在生成代码之后再做扫描。任务取自 108 个真实的开源 Python 项目,横跨 77 类 CWE 漏洞,模型需要在写出可用代码的同时不引入新的缺陷。榜单收录的智能体外壳包括 Claude Code、Codex、Cursor 和 SWE-Agent,可对照的模型有 Claude Fable 5.1、GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5、Claude Opus 5、Gemini 4 Argon 等二十余款。
Endor Labs 表示榜单会随新的商业智能体和模型发布持续更新,页面同时列出每组跑分的日期,最近一次更新落在 10 月 16 日,其中 Cursor 搭配 Gemini 4 Argon 的成绩即为该批次新增。
延伸阅读
- 斯坦福+Together AI推NCM文本生成范式:速度狂飙31倍,插件式集成5 天前
- AI安全哲学的正面碰撞:黄仁勋零容忍 vs 奥特曼风险管理1 周前
- 华为要求AI漏洞报告提交前人工核验:PoC必须可执行、攻击链必须完整1 周前
- Meta推出上下文语言模型CLM:模型首次可以编辑自己,精度+11.4%算力-21.5%3 周前
继续读
同一批更新里这几篇值得一看:
- 奥尔特曼:先进 AI 终将逃出沙箱,FTC 调查 3 家实验室2026-10-24
- 谷歌隐私政策转向:Gmail 与相册数据可用于广告定向2026-10-24
- OpenAI 联手波兰 NASK:第三个获 GPT-5.5-Cyber 权限国家2026-10-24
想快速查定义?对应的词条在这里:
- AI Agent词条 · AI 自学笔记
