11 月 5 日,Google 与 Mercor 发布工程领域评测基准 Physical-Engineering’s Last Exam(PLE),用 85 项机械、电气、土木与结构工程任务量化 AI 智能体在真实工程交付中的能力落差。核心反差是:在 56 项隐藏测试中,Claude Opus 5.5 搭配 Claude Code 得分 48.3%,在共同创作任务中平均满足 91% 的单项约束,但只有 41.3% 的交付设计项满足全部硬性安全与可行性要求。
硬约束门控
以往评测采用逐项累积计分,只要完成的要求多就能拿高分,这会掩盖一类关键失败:模型满足了绝大多数要求,却恰好漏掉那条决定方案能否落地的约束。PLE 在 41 项人机共同创作任务里把约束与优化放进同一套体系,40% 的评分空间取决于单项检查通过比例,60% 与成本或性能优化有关,但优化部分有一个前提——全部硬性安全与可行性约束必须通过。团队称之为硬约束门控,即使某方案能显著降低材料费用,只要违反一项硬约束就拿不到优化分。
为什么剩下 9% 很难补
工程设计的要求彼此关联,解决一个问题可能又产生新的问题,一条电缆桥架穿过消防管线就足以让几十页正确的计算书失去交付价值。PLE 同时设置合规但未充分优化的基线方案与合规成本下界,防止模型靠过量设备轻松满足规范或牺牲可行性换取漂亮成本数字。基线之上,系统还提供 37 项约束评分任务,与专门的评分基线做对照。
延伸阅读
- StepAudio 3 系列发布:五款语音模型,Realtime 98.9 分登顶、ASR 词错率 1.7%2 月前
- 阶跃Step 5 Preview开放权重:6000亿稀疏MoE、100万上下文3 周前
- Anthropic扩大CVP:分级access tiers,129000个已验漏洞4 周前
- Unity 官方 Claude Code 与 Codex 插件上线:31 项开发技能,把 AI 代理焊进游戏引擎2 月前
AI 自学笔记 每天更新 AI 前沿动态,订阅 RSS,或按 Ctrl/⌘+D 收藏本站,明天见。
继续读
同一批更新里这几篇值得一看:
- 谷歌发布灰区概念框架:主观分类 F1 提升 10.5 点2026-11-05
- 谷歌为 Anthropic 190 亿美元数据中心项目提供信用支持2026-11-05
- 谷歌落地新加坡研究中心:600 万美元资助 NUS 与 NTU2026-11-05
想快速查定义?对应的词条在这里:
- AI Agent词条 · AI 自学笔记
- Claude Sonnet词条 · AI 自学笔记
