谷歌 PLE 工程基准:Claude Opus 5.5 满足率仅 41.3%

11 月 5 日,Google 与 Mercor 发布工程领域评测基准 Physical-Engineering’s Last Exam(PLE),用 85 项机械、电气、土木与结构工程任务量化 AI 智能体在真实工程交付中的能力落差。核心反差是:在 56 项隐藏测试中,Claude Opus 5.5 搭配 Claude Code 得分 48.3%,在共同创作任务中平均满足 91% 的单项约束,但只有 41.3% 的交付设计项满足全部硬性安全与可行性要求。

硬约束门控

以往评测采用逐项累积计分,只要完成的要求多就能拿高分,这会掩盖一类关键失败:模型满足了绝大多数要求,却恰好漏掉那条决定方案能否落地的约束。PLE 在 41 项人机共同创作任务里把约束与优化放进同一套体系,40% 的评分空间取决于单项检查通过比例,60% 与成本或性能优化有关,但优化部分有一个前提——全部硬性安全与可行性约束必须通过。团队称之为硬约束门控,即使某方案能显著降低材料费用,只要违反一项硬约束就拿不到优化分。

为什么剩下 9% 很难补

工程设计的要求彼此关联,解决一个问题可能又产生新的问题,一条电缆桥架穿过消防管线就足以让几十页正确的计算书失去交付价值。PLE 同时设置合规但未充分优化的基线方案与合规成本下界,防止模型靠过量设备轻松满足规范或牺牲可行性换取漂亮成本数字。基线之上,系统还提供 37 项约束评分任务,与专门的评分基线做对照。