PLE 工程基准：Claude Opus 5.5 交付通过率仅 41.3%

结论先说：Physical-Engineering’s Last Exam（PLE）基准上，最好的智能体配置拿到 48.3% 的分数，单条硬性约束满足率 91%，但完整交付通过率只有 41.3%。这个基准由 Mercor 与 Google Cloud AI Research 联合发布，含 85 项机械、电气、土木与结构工程长任务，18 个前沿模型全部没有越过 50% 线。

这是 11 月 3 日 Mercor 官方博客公布的信息，中文媒体在 11 月 5 日做了跟进转载。它填补的是当前模型评测体系里的一块空白：现有智能体基准大多考办公室工作，比如搭财务模型、审合同、做演示文稿，而实体工程几乎没人量化。

本文按基准怎么设计、评分规则有什么特别、18 个模型的完整榜单、以及模型与智能体框架哪个更影响成绩这四层展开。全部数据取自 Mercor 官方公告与 ple-bench.com 公开榜单。

为什么需要一套物理工程基准

Mercor 在公告里用了一个对比来说明动机。软件行业里一个 90% 完成度的方案可以先以 beta 形式上线，物理工程不行。工程师的设计要盖章、要建造、要承重几十年，它必须遵守物理规律与建筑规范，还要有一位持照审查人愿意签字。90% 的方案在实体工程里是通不过审查，甚至更糟。

Mercor 的 APEX 系列基准考的是专业白领工作，APEX-Agents、APEX-Accounting、APEX-SWE 都属于这一类。实体工程难测的原因在于学科之间会互相牵制，一个智能体擅长电气负荷计算，遇到场地竖向规划就可能卡住，而现实项目恰恰要求四个专业同时成立。

基准的学术合作方阵容也能说明定位，Stanford、NYU Courant、华盛顿大学、北卡罗来纳大学、哈佛大学和哥伦比亚大学的六位研究者列在 ple-bench.com 的项目页上，论文的通信作者是 Google DeepMind 的 Tomas Pfister 与 Chen-Yu Lee，论文编号 arXiv 2610.30537。

85 道题怎么出题

PLE 的任务分两个来源。一批由 Mercor 专家网络里的持照工程师独立完成，包括项目文件夹、提示词和评分标准，共 44 项。另一批由 Google 用对抗循环生成，Creator 智能体先出题，Solver 智能体尝试把它做崩，Creator 再据此加固，共 41 项。两个来源的题目最后都由工程师逐个验证，确认既真实又足够难。

四个学科的任务分布和开发集划分如下。

环境设计是这个基准最扎实的部分。每个任务跑在一个容器化的项目文件夹里，平均约 61 个文件，混着 PDF、电子表格、邮件、二维 CAD 图纸、三维 BIM 模型，并且故意埋入过期版本作为陷阱。智能体没有互联网访问，每个任务最多 6 小时，自己去翻规范、算量、交付一份能让持照审查人签字的成果。真正的难点往往不在算，而在于搞清楚问题到底是什么。

评分方式是脚本校验加模型裁判双轨。脚本负责检查量化输出，比如负荷计算和线路选型；开放性的工程判断由一个 LLM 裁判按专家评分细则打分。每个智能体框架与模型组合跑三遍，榜单上的标准差就是这个重复实验的结果。

硬约束门控：这套评分规则才是重点

过去多数基准采用逐项累积计分，完成的要求越多分数越高。PLE 换了一种做法，官方称为硬约束门控。评分空间里 40% 来自单项检查的通过比例，60% 与成本或性能优化有关，但优化部分有一个前提，全部硬性安全与可行性约束必须先通过。

换句话说，一个方案哪怕把材料费用压到极低，只要违反一项硬约束，优化分就是零。团队还同时设置了两条对照基线，一条是合规但未充分优化的方案，另一条是合规情况下的成本下界，防止模型靠堆过量设备轻松满足规范，或者牺牲可行性换取漂亮的成本数字。

这套机制解释了那个最刺眼的反差。头条配置 Claude Opus 5.5 配合 Claude Code，平均满足了 91% 的单项约束，只有 41% 的交付设计项通过全部硬性安全与可行性要求。工程设计的要求彼此关联，一条电缆桥架穿过消防管线，就足以让几十页正确的计算书失去交付价值。

这类从「过程质量」到「交付可用」的视角转移，和站内此前记录过的 CloudOpsBench v1.0 榜单：Claude 云运维解决率仅 60.6% 是同一个思路，云运维的正确答案如果会引发级联故障，同样不能算解决。Claude Opus 5.5 通过率仅 45.6%：AI 榜单 105 个基准已饱和 记录的那条 45.6%，方向上与 PLE 的 41.3% 接近，两个基准的题域不同不能直接相加，但它们共同说明一件事，基准越贴近真实交付条件，分数越难看。

18 个模型的完整榜单

下面是 ple-bench.com 公开的 56 项隐藏测试集榜单，模型跑在各自原生框架或表现最好的框架上，推理强度取最高档。

榜单上有几处值得单独读。Claude 家族五个版本全部在前六，Opus 5.5 比 Opus 5 高 8.3 个百分点，比 Sonnet 5.5 高 4.8 个，说明同代内部的档位划分在这个题域上依然有效。GPT 6 Astra 排第二，与 Opus 5.5 差 2.5 个百分点，在单任务 2700 万 token 的量级下这个差距不算大。中文模型整体落后，GLM 5.2 以 25.0% 排第九，DeepSeek-V4.1-Flash 是 14.4%，而代码类模型在本榜上塌陷得更明显，Qwen3 Coder 480B 只有 6.2%。

代码模型在 PLE 上掉队这件事并不奇怪。写代码的评测标准是单文件可验证，实体工程要求的是多专业联动的方案，代码模型的训练分布里几乎没有后者。站内记录的 GPT-6 Astra 一周设计出硬件：BenchCAD 得分 0.594 在硬件设计子任务上的表现也印证了这一点，越靠近需要多方协同与规范判断的场景，通用编码能力的迁移效果越弱。

另外一条对照线来自中文阵营的横向对比。百度文心5.5 Flash Base 开源：280B 激活 14B、30 项基准对比 记录了国产模型在自家整理的 30 项基准上的表现，那类榜单更倾向于同代参数与激活量的横向对比，而 PLE 用的是 85 个真实工程项目，量纲完全不同。榜单名次不宜跨基准直接换算，但题目难度差异本身也是这条基准想传达的信息。

模型选型比框架选型更管用

Mercor 跑了 14 个前沿模型、7 种智能体框架，结论是模型的选择远比框架的选择重要。不同模型之间的分差最大能到 50 个百分点，而同一个模型换不同框架跑，中位数只移动约 3 个百分点。

这个结论对工程团队的含义很直接。把预算花在换模型上，比花在给同一个模型配不同的智能体框架上划算得多。这也是 Gemini 4 Carbon 发布：AA 指数 59 分登顶与安全基准全优 这类榜单之外更值得关注的一层，因为框架层的优化空间正在被压缩。

成本侧的细节也值得记住。头条配置 Claude Opus 5.5 搭配 Claude Code 在隐藏测试集上平均每个任务消耗 2700 万 token、耗时 63 分钟，而每个任务的时限是 6 小时。这说明智能体在实体工程任务上的平均用时只占时限的一小半，卡住它们的不是算力，是判断力。任务成本官方没有给出单价，但按 2700 万 token 的输入量级估算，一次完整跑分的开销并不低，这也是基准开放 29 项公开任务让社区先摸清难度分布的原因。

怎么参与和读这份榜单

Google 已公开 29 项任务、评分工具和评测容器，隐藏测试集用于公开竞赛。有 13 个 Google 赞助的模型可以免费运行，奖励稍后公布。基准完全开放，欢迎提交自己设计的工程任务，附带起始文件与评分器，通过审核后会带上作者署名进入基准。

读这份榜单时有两个陷阱要避开。一是别把 48.3% 当成模型能力的百分比，它衡量的是在特定评分规则下的得分，且每个模型跑在各自原生框架上。二是别只看榜首，91% 对 41.3% 那个反差才是这次发布真正的信息量，它说明当前所有前沿模型在实体工程交付上的可靠性都还没到可以放手交给持照工程师签字的程度。

常见问题

PLE 是什么基准，跟别的智能体评测有什么区别？

PLE 是 Mercor 与 Google Cloud AI Research 联合发布的物理工程评测基准，含 85 项机械、电气、土木与结构工程长任务。区别在于它考的是需要持照工程师签字才能落地的实体设计，而非财务模型、合同审阅这类办公室工作，并且所有题目都配有规范、图纸与真实的项目文件环境。

Claude Opus 5.5 为什么只拿 41.3% 的完整交付通过率？

因为 PLE 采用硬约束门控评分。模型平均满足了 91% 的单项约束，但优化分要求全部硬性安全与可行性约束先通过，漏掉任何一条就拿不到优化分。实体工程里一条电缆桥架穿过消防管线，就能让几十页正确的计算失去交付价值，逐项累积计分掩盖的正是这类关键失败。

哪个模型在 PLE 上表现最好？

Claude Opus 5.5 搭配 Claude Code 以 48.3% 位居第一，第二是 GPT 6 Astra 的 45.8%，第三是 Claude Sonnet 5.5 的 43.5%。全部 18 个参评模型都没有超过 50%，榜单最低的 Llama 4 Maverick 为 0.7%。

智能体框架的优化还有意义吗？

意义在缩小。Mercor 的实验显示模型选择带来的分差可达 50 个百分点，而同一模型换框架的中位数差异只有约 3 个点。这不意味着框架优化无效，但预算分配的优先级应当放在模型侧。

小结

PLE 的贡献不在于又一张榜单，而在于换了一套评分标准。硬约束门控把「大体上正确」和「可以交付」分开算，让那些靠堆检查项拿分的做法失效，41.3% 这个数字因此比 48.3% 更值得引用。

对做实体工程工具的团队，接下来的验证方式可以更直接。拿自己的真实项目文件夹做成 PLE 任务，用官方评分工具跑一遍，如果自家方案也过不了全部硬约束，那么模型换得再贵也帮不上忙。对做智能体的团队，模型选型优先于框架调优是这次实验最可迁移的一条结论。

相关阅读

• CloudOpsBench v1.0 榜单：Claude 云运维解决率仅 60.6%
• Claude Opus 5.5 通过率仅 45.6%：AI 榜单 105 个基准已饱和
• GPT-6 Astra 一周设计出硬件：BenchCAD 得分 0.594
• Gemini 4 Carbon 发布：AA 指数 59 分登顶与安全基准全优