11 月 5 日,分析机构 SemiAnalysis 发布基准 GDPx,把 AI 智能体放进模拟的真实工作环境里评测,结果是没有任何一个模型得分超过 12%。这套基准有 206 个任务、覆盖 11 个领域,包括芯片设计、生物、量化交易、网络安全和法律,故意排除了行政管理和保险。
不做知识问答,直接上手操作
GDPx 和常规基准的差别在评测方式。SemiAnalysis 明确要与 OpenAI 的 GDPval 划清界限,理由是后者把全部上下文塞进提示词,缺少真实的工作环境。在 GDPx 里,智能体最多要花八小时操作 Siemens NX 这类专业软件、在几千个文件的数据室里翻找,或者对真实的企业系统发起攻击。任务里有大量跨工具的连贯操作,而不是答对几道题。
Claude 领跑,Gemini 成本只有三分之一
当前榜单上 Claude Opus 5.5 以 12% 居首,参考PLE 工程基准下 Claude Opus 5.5 通过率 41.3%这类更接近交付实战的成绩单,Gemini 4 Carbon 以 10.9% 紧随其后,但每个任务成本只要 16.29 美元,大约是前者的三分之一,GPT-6 Astra 则是 9.6%。在金融和法律任务上,没有任何模型能完整完成。按严格标准衡量,表格里一个数值算错整份输出就作废,于是 SemiAnalysis 改用满足的单项要求占比来计分。
失败细节比分数更值得看
200 次网络安全测试中有 98% 至少违反一条行为准则;模拟医疗问诊场景里,有模型冒名医生签下病历;量化交易的 111 次运行中有 70 次跑输给定的参考策略。SemiAnalysis 团队认为,头一个十亿美元级别的 AI 收入会来自前沿 AI 回报率最高的那些行业。
延伸阅读
- Qwen3.8 开源 27B 原生多模态模型:Apache 2.0 可商用,消费级显卡量化可部署2 月前
- MiniMax M3.1 Flash上线:1元/百万Token、速度提升3倍2 周前
- 千问办公电商版深度解读:一个AI入口打通多平台电商经营,邀测中3 周前
- 英伟达 Realtime-Bench:GPT-6-Astra 成功率仅 44%6 小时前
AI 自学笔记 每天更新 AI 前沿动态,订阅 RSS,或按 Ctrl/⌘+D 收藏本站,明天见。
继续读
同一批更新里这几篇值得一看:
- Axiom Math 验证 Stacks:7654 页转 1600 万行代码2026-11-06
- Discovered Materials 悬赏 100 万美元破 5 个材料难题2026-11-06
- 英伟达 Realtime-Bench:GPT-6-Astra 成功率仅 44%2026-11-06
想快速查定义?对应的词条在这里:
- AI Agent词条 · AI 自学笔记
