一句话结论:姚期智与杨植麟联手发布的 TCSExam 用 100 道可机器验证的题目测了 8 个前沿 Agent,GPT-6 Astra 以 71.9 分拿下第一,Kimi K3.1 Pro 57.4 分第二,但 30 道人类未解的开放猜想没有一道被独立攻破,AI 已经能改写人类纪录,却还不会自己找到路。
11 月 16 日里斯本 Web Summit 上,月之暗面国际总监 Giacomo Ficari 把话说得很直接:代码生成方向的技术迭代已趋于饱和,Kimi 系列模型要转向生物、化学与制药。理由不复杂,科学任务对模型智能的要求比法律、金融和代码更高。既然编程这条线的边际收益在压缩,资源就该挪到还没被攻克的地方。
这次转向背后其实有一份刚出炉的成绩单可以对照看。11 月 5 日挂上 arXiv 的 TCSExam,是姚期智(清华大学交叉信息研究院)与月之暗面创始人杨植麟第一次共同署名的论文,全称 The Theoretical Computer Science Exam,由清华大学、月之暗面与上海期智研究院五位作者联合完成。论文把理论计算机科学的完整研究链条拆成 100 道题,让 8 个最强 Agent 全部考了一遍,判定权交给 Lean 4 内核和可执行检查器。
同一份榜单也解释了为什么编程之外的方向开始吸引注意力。榜单里既有令人振奋的纪录改写,也有暴露短板的空白,而这份成绩单本身已经成了一份可复算的地图。
TCSExam 把科研拆成四条能机器验证的赛道
过去谈 AI 做科研,常见两种回答:要么展示几篇 Agent 生成的论文但无法验证,要么跑一遍竞赛题但离科研太远。TCSExam 换了思路,把研究者真实交付的四种东西各自变成一道考题,并且全部要求可验证产出。
四条赛道分别是:定理证明 20 题,模型要给出能被 Lean 4 内核逐行校验的完整证明;求解器工程 30 题,要写出可复用的程序,在隐藏实例集和统一资源限制下接受可执行检查;数学构造 20 题,提交满足严格约束的数学对象并附验证证书;开放猜想 30 道,允许证明成立或给出反例,任一方向完整解决即满分。
题目本身取自 2023 到 2026 年间的理论计算机科学顶会论文,覆盖 13 个子领域,全部经领域专家审核研究价值。开发流程里有个细节值得注意:超过 40 道候选定理因为在试运行阶段就被 Agent 解出,直接淘汰换新。基准在主动追着模型的能力边界跑。
验证机制是这套基准的硬核部分。定理和猜想一律对接 Lean 内核裁决,求解器在隐藏实例上跑检查器,构造题必须附性质证书。看起来合理的写法在这里拿不到分数,人工打分和大模型互评环节全部被拿掉。
Full 榜单:Astra 断层第一,Kimi 紧随其后
100 题的完整套件上,8 个 Agent 的总成绩分化明显。项目方公开的原始榜单文件可以直接复算,以下为其中的关键字段。
| Agent | 综合 Index | 定理证明 | 求解器工程 | 数学构造 | 开放猜想 |
|---|---|---|---|---|---|
| GPT-6 Astra | 71.9 | 70.0% | 64.7% | 104.9% | 0.0% |
| Kimi K3.1 Pro | 57.4 | 38.3% | 54.1% | 98.6% | 1.1% |
| Kimi K3 | 46.8 | 11.7% | 48.7% | 95.5% | 0.0% |
| DeepSeek V4.1 Flash 1017 | 46.0 | 6.7% | 53.1% | 91.8% | 5.6% |
| GLM-5.3 | 45.5 | 5.0% | 49.1% | 97.7% | 0.0% |
| Qwen3.8 Max (0902) | 44.8 | 5.0% | 49.2% | 95.1% | 0.0% |
| Grok 4.6 | 40.5 | 5.0% | 43.8% | 86.2% | 0.0% |
Index 的加权规则是定理证明、求解器工程、数学构造各占 30%,开放猜想占 10%。这个设计让榜单衡量的是全链路均衡度,代价是完全不会做猜想的模型照样能拿到 70 分以上,所以论文自己也把权重称为设计选择而非推导结论。
差距最悬殊的是定理证明赛道,从 70% 一路掉到 5%,其余三条赛道的落差都远小于这一条。Astra 在这个赛道 20 道研究级命题里完整证明了 14 道,裸题模式下不给任何中间引理。Kimi K3.1 Pro 在 60 次尝试中成功 23 次,覆盖 9 道不同定理,其中 PCP 字母表可靠性一题是它独解、Astra 没做出来的。其余六个 Agent 全部不超过 11.7%。
另一个值得留意的样本是 DeepSeek V4.1 Flash 1017。它的定理证明是 6.7%,但数学构造拿到 91.8%,短板和长板在同一个模型身上极端共存。这类分化说明用一个总分概括模型科研能力会丢信息。
构造赛道改写了人类纪录,这是最硬的一块
整份榜单里最扎眼的结果出现在数学构造。多个模型交出的成果优于此前已发表的最优解,而且全部通过形式化验证。
Kimi K3 构造出一个 124 个顶点、无三角形也无四环的极大图,边数 630 条,把 Goedgebeur 等人 2025 年给出的 629 条参考纪录往前推了一位。在极值图论里,这个规模上每多一条边都意味着所有环长约束更紧,630 是把下界真实抬高了。Qwen3.8 Max、Grok 4.6、DeepSeek 1017 也各自独立达到 630 条。
GPT-6 Astra 的成绩在量子纠错码方向:它给出 25 个物理比特保护 7 个逻辑比特的稳定子码,最小距离从参考码的 5 提升到 6,同样资源下能检测更强的错误。另一道题里它把长度 22、最小汉明距离 10 的二元码字数上界从 84 收紧到 82,原界出自 Gijswijt 等人 2012 年的工作。
论文对此的措辞是,就目前所知,这些构造优于此前最佳已发表结果。这已越过 AI 产出能被学界当真的门槛,虽然离开创新理论还有距离。项目主页把这些案例单独列为研究结论并附上验证证书,任何人都可以复核。
求解器赛道也贡献了一个方法论细节。传统基线与参考值的线性评分会被离谱输出污染,Qwen3.8 Max 曾在某个实例上提交一个含 273020 个 AND 门的电路,而基线只有 698、参考值 106,一个离群输出就能把均值砸穿。项目方改用重复运行参考分布做高斯变换,把单点贡献钳制在有限区间。做 Agent 评测的人可以直接借鉴这个设计。
开放猜想几乎颗粒无收,捡回了五块真金
30 道开放猜想包括 log-rank、Ryser 这类知名问题。结果是零个独立解决。
榜单上两个非零分需要如实交代来龙去脉。任务定题在先,OpenAI 随后公开了 Ryser 猜想的反例与 MIRUP 猜想的证明。Kimi K3.1 Pro 和 DeepSeek V4.1 Flash 1017 的评测时间在其后且允许联网,两者检索到这些已公开结果,改编适配到任务定义并通过了 Lean 验证。项目方在榜单页面专门标注了这一点:这些提交适配的是已发表的反例和证明,不属于独立攻关。
但攻坚过程的中间产出并不空。论文对失败轨迹里的部分结论做了独立 Lean 验证,最显眼的是 GPT-6 Astra 在尝试 Alon-Jaeger-Tarsi 猜想时证明了该猜想九维情形对所有素域成立,把 1999 年以来的维度范围往外扩了一维。另外还有六变量傅里叶熵与影响力界、高秩 Hilbert 矩阵刚性的精确公式、二次多项式影响力界、随机序在线匹配的有限实例界。
也就是说零分的赛道,仍然产出了学界可以引用的定理。这是开放猜想也该给部分学分的最好论据。
提示阶梯实验暴露了真正的短板
论文有一组引导阶梯实验,同一批定理分三档给模型:bare 只给命题,ladder 追加中间引理,guided 再给证明思路。每档跑三次尝试。
结果非常直接。Kimi K3 三档分别解出 3 道、4 道和 7 道,DeepSeek V4.1 Flash 0910 对应 0 道、2 道和 6 道。DeepSeek 裸题 60 次尝试全军覆没,给足提示后能解 6 道。
这个对比说明模型具备执行证明的能力,缺的是自己找到证明路线的能力。把大定理拆成可攻的小步骤,这是人类数学家的基本功,AI 还没学会。论文对中间产出的观察也很一致:模型能稳定给出命题和定义,却不会主动拆解出中间引理。这道短板和转向科学方向的选择互为因果,编程基准分数拉不开差距时,资源自然要找新的战场。
Lite 版 20 题省 80% 算力,Opus 5.5 意外登顶
跑一遍 Full 的开发预算是每题 12 小时乘以 100 题,合计 1200 机时,多数模型还只跑一次尝试。TCSExam-Lite 每条赛道抽 5 题共 20 题,预算降到 240 机时,同时把对比扩展到第九个 Agent:Claude Opus 5.5。
| Agent | Lite Index | 定理证明 | 求解器工程 | 数学构造 |
|---|---|---|---|---|
| Claude Opus 5.5 | 72.3 | 80.0% | 60.5% | 100.4% |
| GPT-6 Astra | 67.0 | 60.0% | 63.0% | 100.4% |
| Kimi K3.1 Pro | 53.5 | 40.0% | 50.0% | 88.3% |
| Kimi K3 | 48.6 | 33.3% | 48.9% | 79.8% |
| GLM-5.3 | 47.0 | 20.0% | 46.1% | 90.7% |
| Qwen3.8 Max (0902) | 45.4 | 20.0% | 51.0% | 80.3% |
| DeepSeek V4.1 Flash 1017 | 42.4 | 6.7% | 54.3% | 80.2% |
| Grok 4.6 | 42.1 | 20.0% | 41.0% | 79.3% |
Lite 与 Full 的 8 个共同参测 Agent 排名 26 比 28 完全一致,Spearman 相关系数 0.93,Lite 可以放心当高效筛选器用。Opus 5.5 首次参战即以 72.3 登顶,五道开放猜想同样全部未决。Lite 的定理题更难,Astra 只解出 3 比 5。
两套榜单的原始 CSV 文件、任务目录、Docker 构建配方与评估工具都以 Apache-2.0 协议开源在 GitHub 的 MoonshotAI/TCSExam 仓库,复现一次 Lite 评测只需要三条命令。这套框架的长期价值不在排名,而在确立了可验证科研产出这个评估范数:以后再看到 AI 解决了某某问题,先问一句,过 Lean 内核了吗。
Kimi 转向生物与制药:90 分钟筛出 100 个候选基因
战略转向已经落到具体部署上。北京深势科技把 Kimi K3.1 Pro 接入面向生物医药场景的科研智能体 BioMaster,12 日官宣合作。在一项内部评测里,搭配代码工具的 Kimi K3.1 Pro 在所有参评模型组合中得分最高。
演示案例的细节值得记下来。系统分析了 3696 个小鼠胰腺细胞的基因表达数据,约 90 分钟筛出 100 个可供后续研究的候选基因,人工完成同一任务预估需要 4 小时。这组数字来自合作方的测试,属于厂商案例而非同行评审验证,但它展示了 Moonshot 希望 Kimi 的销售方式:省下的实验室小时数,而不只是一张榜单分数。
同期还有一个值得对照的行业调查。花旗 6 月对 50 位美国研究负责人的调查显示,72% 已经广泛使用 AI,但只有 24% 预计它会明显提升药物研发成功率。买家接受效率提升,对突破性结果仍持保留态度。这与 TCSExam 的结论形态一致:模型在给定的框架内优化和验证已能超越人类纪录,独立找到新路还差整整一个赛道。
常见问题
问:TCSExam 和普通数学基准的区别是什么?
答:普通基准只测一块,TCSExam 把证明定理、写求解器、构造数学对象、攻克开放猜想四条赛道拼成完整科研周期。更关键的是判定全部交给 Lean 内核与可执行检查器,没有大模型当裁判的环节,看起来合理的写法拿不到分。
问:AI 到底能不能做科研?
答:能做的部分已经被验证了。Kimi K3 改写了 124 顶点极大图的边数纪录,GPT-6 Astra 把量子码距离从 5 提到 6 并收紧了二元码上界,这些都是学界可以引用的结果。做不到的部分同样清楚,30 道开放猜想没有一道被独立攻破,裸题模式下模型不会主动拆解中间引理。
问:想自己跑一遍这个评测需要什么?
答:Lite 版只要 240 机时,Full 版是 1200 机时。任务源、Docker 构建配方和评估工具都以 Apache-2.0 协议开源在 MoonshotAI/TCSExam 仓库,用 tcsexam build、tcsexam doctor、tcsexam run 三条命令即可复现,模型可以换成任意支持工具调用的 Agent。
小结
TCSExam 划出的能力地图相当清晰。模型已经能在给定框架内优化并验证,构造赛道能产出超越人类纪录的成果;正在学习在提示阶梯下补全证明;而独立找到证明路线、攻克开放问题,还差着整整一个赛道。
月之暗面把资源从编程挪向生物与制药,在这份榜单上有迹可循:Kimi K3.1 Pro 的定理证明 38.3%、构造 98.6%,工程能力扎实,探索能力待补。科学任务对智能的要求更高,编程的红利期在收缩,这家公司的选择押在一个尚未被充分攻克的方向上。
论文给出的数字可以复算,榜单文件全部开源。而 30 道开放猜想那道空白,会是这个赛道接下来几年最值得盯的指标。
延伸阅读
- Kimi K3.1 Pro 开源:2.8T 参数百万上下文3 周前
- Claude 30分钟破译26年NSA椭圆曲线悬案:种子源自1997年Unix时间戳1 月前
- Kimi 游戏开发方案:20 小时无人干预与 330 万三角面场景1 周前
- Kimi 转向科学研究:90 分钟筛出 100 个候选基因1 天前
继续读
往下这几篇值得接着看:
