AI 榜单 710 个基准中 105 个已饱和：新考卷只剩 41.7%

7 hours ago AI闪点

据第三方评测聚合平台 BenchLM 截至 10 月 26 日的统计，其追踪的 710 个基准中有 295 个具备实际覆盖度的百分制基准，其中 105 个约占 36% 已经彻底饱和，榜首得分全部在 90 分以上。当分数全部挤在天花板附近，差出一两分究竟来自模型更强还是提示词与采样的随机波动，已经难以分辨。

三份新考卷把旗舰模型拉回及格线

数据标注与评测公司 Surge AI 在过去一个多月连续发布三份面向真实职场的新评测。sudo L7 是资深工程师级编程评测，包含 60 道来自真实生产代码库的任务，Claude Opus 5.5 与 Sonnet 5.5 并列第一，通过率 41.7%，GPT-6 Astra 为 33.9%，10 月 6 日刚以预览版上线的 Mistral Large 4 只有 11.7%。

GDP.xlsx 是跨行业复杂表格评测，70 道来自金融、医疗、地产等 12 个行业从业者日常工作的真实 Excel 任务，第一名 Google 旗舰 Gemini 4 Argon 得分 38.3%。DAYJOB 是端到端岗位工作评测，130 项由医疗和金融专家编写的长流程任务，医疗赛道最好成绩是 Claude Opus 5.5 的 24.7%，金融赛道是 Claude Sonnet 5.5 的 24%。

从九十多分掉到二三十分，问题在考卷

sudo L7 里有一道题，背景是接入了 Stripe、Mailchimp、Plaid 的真实金融科技代码库，需求明确要求 Webhook 回调失败时打印完整 Payload 并返回 HTTP 200 以免合作方重试。GPT-6 Astra 照做了，单元测试也通得过，但返回 200 等于告诉 Stripe 回调已处理，若内部处理实际失败，用户扣款记录就可能永远对不上账，而 Payload 里的客户身份与账户信息未经脱敏就写进普通日志，所有运维和监控系统都能明文读取。

对选型的影响

从榜单接近满分掉到新榜单二三十分，看上去像是模型突然变笨，实际是题目换了一批出题人，榜单的排位、分数的含金量以及评测规则都跟着变了。

对真实采购方来说，引用某个基准分数判断模型能否上线之前，要先看这道题测的是什么能力、以什么形式给分。站内记录过智能体安全基准功能正确率与安全正确率的落差，那种在同一基准里把两个维度分开看的方式，在这次的新评测里同样适用。相关深度文。

延伸阅读

AI 自学笔记 每天更新 AI 前沿动态，订阅 RSS，或按 Ctrl/⌘+D 收藏本站，明天见。

继续读

同一批更新里这几篇值得一看：

想快速查定义？对应的词条在这里：

Related News