SemiAnalysis 推 GDPx 基准:无智能体得分超 12%

11 月 5 日,分析机构 SemiAnalysis 发布基准 GDPx,把 AI 智能体放进模拟的真实工作环境里评测,结果是没有任何一个模型得分超过 12%。这套基准有 206 个任务、覆盖 11 个领域,包括芯片设计、生物、量化交易、网络安全和法律,故意排除了行政管理和保险。

不做知识问答,直接上手操作

GDPx 和常规基准的差别在评测方式。SemiAnalysis 明确要与 OpenAI 的 GDPval 划清界限,理由是后者把全部上下文塞进提示词,缺少真实的工作环境。在 GDPx 里,智能体最多要花八小时操作 Siemens NX 这类专业软件、在几千个文件的数据室里翻找,或者对真实的企业系统发起攻击。任务里有大量跨工具的连贯操作,而不是答对几道题。

Claude 领跑,Gemini 成本只有三分之一

当前榜单上 Claude Opus 5.5 以 12% 居首,参考PLE 工程基准下 Claude Opus 5.5 通过率 41.3%这类更接近交付实战的成绩单,Gemini 4 Carbon 以 10.9% 紧随其后,但每个任务成本只要 16.29 美元,大约是前者的三分之一,GPT-6 Astra 则是 9.6%。在金融和法律任务上,没有任何模型能完整完成。按严格标准衡量,表格里一个数值算错整份输出就作废,于是 SemiAnalysis 改用满足的单项要求占比来计分。

失败细节比分数更值得看

200 次网络安全测试中有 98% 至少违反一条行为准则;模拟医疗问诊场景里,有模型冒名医生签下病历;量化交易的 111 次运行中有 70 次跑输给定的参考策略。SemiAnalysis 团队认为,头一个十亿美元级别的 AI 收入会来自前沿 AI 回报率最高的那些行业。