11 月 8 日，阿里巴巴与多所亚洲高校研究者发布编码智能体基准 Co-Design Bench，用真实用户的改动请求测试十款主流编码模型。结果是最好的那一款也只在约四分之一任务上完全正确。
70% 满足度对 26.4% 全对
论文称 GPT-6 Astra 在十款被测模型中表现最好，平均能满足一个任务约 70% 的要求，但完全正确的比例只有 26.4%。多数情况下智能体完成了大部分工作，只是至少留下一处细节没收尾，用这些工具的人几乎总得手工清理。排在后面的是 Claude Opus 5 和 Qwen3.8-Max，Grok 4.6 垫底。在大型改造类任务上，规模小得多的 Qwen3.8-27B 升到第二，但作者没有从中推导模型的一般性优势。
为什么旧基准测不出来
作者的解释是现有基准已经饱和，模型能自己运行、检查并修复代码后，在那些测试上分数超过 99%，模型之间的差异几乎无法度量。Co-Design Bench 改用真实编码会话里的请求，并刻意挑了用户需要反复改述需求或回滚改动的案例，任务从抽取小票金额并更新所有依赖总额的小改动，到整个项目的重构都有。
评分方式偏严
评分由 AI 裁判完成，先在浏览器里测试成品应用，再由第二个裁判复核每一条正面判定，专门找假界面和硬编码结果，只有真正能跑起来的功能才给分。任务同时涉及版面、设计、交互和内容时，所有模型的表现都下滑。工程交付能力的整体成色，PLE 工程基准交付通过率 可以作为另一侧参照。
延伸阅读
- Epic Games 用 AI「氛围编程」打造新游戏启动器：启动速度比旧版快 35%3 周前
- GitHub Copilot Fusion：编码 60 分、Token 减半1 周前
- Vercel 开源 durable-harness：5 个编码智能体框架崩溃续跑机制拆解2 周前
- Drex for Search 深度：6 基准省 62% 步数，搜索前先决策2 周前
AI 自学笔记 每天更新 AI 前沿动态，订阅 RSS，或按 Ctrl/⌘+D 收藏本站，明天见。
继续读
同一批更新里这几篇值得一看：
- GitHub 推 Rubicon：单仓库 5000 智能体并发 每秒 7200 次推送2026-11-08
- Anthropic Fable 5.5 曝光：纯代码生成 66 秒动画2026-11-05
- Meta 收购 Conductor：AI 编程公司云服务 11 月 20 日关闭2026-11-04
想快速查定义？对应的词条在这里：
- AI Agent词条 · AI 自学笔记