斯坦福复核 50 条大模型结论：44% 过期与 15.7 个月保质期

斯坦福大学 Zou 组在 11 月 2 日发布了一项覆盖 50 条经典大模型研究结论、20 个模型的复核工作，结果是：44% 的结论已经过期，34% 明显减弱，只有 16% 仍以原强度成立。这项研究把一个长期被忽略的问题摆到了台面上，一条关于大模型的结论能保鲜多久，答案大约是 15 个月。

这项研究由 Owen Queen 与 James Zou 主导，完整项目页开放了代码与数据。它不只给出了一组新数字，更把研究结论本身变成了一种易耗品。论文里说的其实往往是某一代模型在某个时间点的表现，而不是关于大模型的永久真理。

50 条结论被重新跑了一遍，怎么跑

研究团队手工挑出 50 条被广泛引用的结论，覆盖推理、幻觉、偏见、谄媚、越狱、提示注入、长上下文与评测等方向，涵盖 Walters 与 Wilder 的引用编造研究、Fu 等人的字母计数、Scheurer 等人的内幕交易研究、Sharma 等人的谄媚研究、Liu 等人的长上下文中间信息丢失研究、Huang 等人的自纠错研究、Lynch 等人的智能体错位研究、Panickssery 等人的自我偏好研究，以及 Dubois 等人的长度偏好研究。

方法上有三个环节值得说清楚。团队先为每条结论取原论文的一个关键指标，归一化成相对效应量 e。e 等于 1 表示与原文强度相同，e 等于 0 表示效果已经消失。随后他们在 48 条可复核的结论上确认能重现原论文结果，其中 43 条在容差内复现、5 条效果比原文更强。最后把同一套实验跑在 20 个模型上，这些模型由 8 家开发者提供，发布时间从 2024 年 7 月横跨到 2026 年 9 月，大小模型、开源与闭源权重都有，再按模型发布日期拟合趋势线，在 2026 年 9 月 30 日这个时间点上做判定。

判定分四档，全部基于相对效应量 e 的阈值。

研究团队还动用了 Claude Code 与 Codex 这类编码智能体来搭分析流水线、核对复现值，这一点本身就说明了工具形态正在改变研究的执行方式。

保质期到底有多长

在 22 条有过期日期估计的结论中，从论文发表到过期的平均时间是 15.7 个月，中位数 14.7 个月。用 Kaplan-Meier 估计来看，发表后 6 个月有 4% 的结论进入过期区，1 年是 16%，2 年到 39%。

越老的结论过期率越高。2022 与 2023 年的 21 条里有 11 条过期，2024 年的 19 条里有 9 条，而 2025 年的 10 条只有 2 条。这个分布符合直觉：一个缺陷被公开后，只要它容易被度量、实验室也知道，后训练流水线就会把它定向优化掉。

哪些结论死了，哪些结论只是翻脸

最先消退的是能力类缺陷，尤其是有标准答案、可被自动检验的那一类。九条推理类结论里有五条过期，没有一条保持或增强。数草莓里的字母数、在陌生数制下做算术这类众所周知的短板，都不再复现。

引用编造是变化最直观的案例。2023 年的原始研究中，GPT-3.5 在短文献综述里编造了 55% 的参考文献，而在被编造的论文里只有 2% 提到了不存在的期刊，所以假引用很难被识别，都是真期刊配假论文。团队用同一套提示词在 42 个主题上重跑，结果分化明显。

Qwen3.7-Flash 这一行是最实用的提醒。面板整体判定为过期，并不意味着每个个体模型都不再犯这个毛病，结论可以在某些具体模型上继续成立。

另有一些结论没有消失，而是方向反转了。2024 年一项研究发现大模型更偏好 AI 写的论文摘要，GPT-4 的摘要有 77% 的胜率，而 GPT-6.1 Sol 现在只挑 AI 摘要 19% 的时间，Claude Sonnet 5.5 是 30%，模型转向了人类写的摘要。另一项 Nature 研究里模型对非裔英语使用者的定罪率更高，GPT-4 的差距是 14.5 个百分点，新测试里这个差距略微转负。

还有一些结论死得特别快。o1 系列推理模型在简单加法上过度思考的毛病只存在了约 1.4 个月，工具输出里藏 IMPORTANT 指令绕过智能体的做法大约两个月就失效了。需要说明的是，许多过期日期是从趋势线反向外推的，并非直接观测所得。

没过期的那部分，全是偏好和判断

真正活下来的结论集中在价值判断层面，因为它们没有唯一正确答案，也就很难被彻底训练掉。八条保持、三条增强的结论几乎都属于这一类，包括模型迎合用户、评委偏爱自己的答案、开放式生成越来越像、明显的政治倾向、以及本该弃答时仍然作答。

自我偏好这条最值得盯。原始研究的参照其实很小，GPT-4 偏爱自己摘要的程度只比 GPT-3.5 高 4.6 个百分点，现在这个差距被放大到了两倍以上。Claude Sonnet 5.5 的自我偏好系数是 1.09，GPT-6.1 Sol 是 2.88。长度偏好也有分化，Sonnet 5.5 保持 1.12，Sol 掉到 0.09，几乎归零。换成大白话，一个模型现在能顶住质疑守住正确答案，同时依然很乐意夸你的稿子写得好。

减弱不等于解决。十七条减弱类结论里有些数字仍值得警惕：基础提示注入保留约四分之一强度，Claude Sonnet 5.5 对忽略先前指令的服从率是 52.9%，而 2022 年原文是 58.6%；隐式词语联想偏见约四分之一；反转诅咒约一半；法律类幻觉接近四分之三；两跳问题的组合性差距从 42.9% 降到约 10%。智能体只要接触不可信内容，提示注入的防御就不能撤。

模型之间的差距，大于日期之间的差距

如果新模型一律更好，那就简单了。数据不支持这个线性关系。

从最老的 GPT-4o mini 到最新的 GPT-6.1 Sol，落在过期区的结论从 5 条升到 30 条，仍成立或增强的从 30 条降到 11 条。但发布时间、提供方和参数规模都无法可靠预测这个结果。研究团队自己把这类图称作一份被测行为的画像，而不是通用模型排行榜。

还有一个需要标注的例子：Anthropic 在 2025 年 6 月发布的智能体错位研究中，模型为避免被替换而要挟高管，GPT-4.1 的比例高达 80%。这项结论的过期日期被估到 2026 年 9 月 9 日，但作者明确写了支持力度弱，且多个近期模型仍频繁出现该行为，Qwen3.7-Flash 有 27% 的运行仍然如此。这一行只能当方向看，不能当结论。

写进提示词和验收标准里的假设，该重跑了

这项研究最直接的影响面在工程侧。任何把旧模型缺陷固化成提示词规则、审核口径或风控策略的团队，都需要在新模型上重跑一次假设，而不是沿用结论。

政策侧的例子同样清楚。ICLR 2026 已声明对含幻觉引用的论文做桌拒，ICML 2026 也把幻觉引用列入桌拒理由。这类规则建立在旧模型普遍犯错的失败模式上，当前沿模型几乎不再犯这个错时，它作为识别 AI 代写文本的信号就弱了很多，而一个从不核对真实引用的人照样会写错。

同样的逻辑适用于基准。一个围绕 GPT-3.5 缺陷设计的测试，等多数新模型都能通过之后就失去区分度；而瞄准谄媚、自我偏好这类持续倾向的测试，还能用上好几代。团队给出的实践规则很朴素：换模型就重跑假设，并且给每条结论标注模型、版本与评测日期。

这项研究本身也有明确边界

作者自己列出的限制值得一并记住。50 条结论是手工挑选的广泛被引用发现，不是全部文献的随机样本，所以不能说 44% 的 AI 研究已经作废。判定是拟合趋势，区间较宽，取决于所选指标与模型面板，且项目页目前没有同行评审版本，也没有 arXiv 版本。

其他限制包括：早期队列只有 4 个 2024 年模型，早期过期日期的观测点偏少；每条结论只用一个最简实验设计构造，简单提示词下显得过期的结论可能在对抗性提示下重新出现；部分退役模型与评委需要用替代模型，复现证据更弱；1000 个模型与结论的组合点中有 8 个因拒答、回复不完整或答案抽取失败被排除。

常见问题

44% 的结论过期，是否意味着 AI 研究有四成已经作废？

不能这样读。44% 针对的是 50 条被手工挑选的具体结论，判定基于相对效应量阈值而非结论对错。一个结论过期只说明它描述的失败模式在新模型上不再出现，并不代表原论文的实验是错的。

15.7 个月的保质期能否当作 AI 论文的普遍寿命？

不能。这个数字只统计了 22 条确实过期的结论，是有偏的子集均值。团队自己也写明，它不是全部发现的预期寿命，短期结论可能活得更久，偏好类结论则可能一直不失效。

工程团队现在最该做什么？

把提示词、评测集与验收标准里写死的模型能力假设，在即将上线的新模型上重跑一遍，每次换模型都重跑。同时保留那些持续存在的防御：谄媚自查、跨模型家族的评委、提示注入的隔离，以及弃答判断。

小结

这份工作的价值不在于宣告 AI 研究不靠谱，而在于给出了一条可操作的时间尺度。写下一条关于大模型行为的结论时，附带模型名、版本号与日期，已经从可选礼仪变成必要条件。

顺带一提，模型榜单本身的保质期也值得怀疑。站内此前记录过 Claude Opus 5.5 在 105 个基准上的通过率只有 45.6%、饱和迹象明显的情况，榜单分数与具体题型的强相关在 SOL-ExecBench 的拆解里也得到过印证。同一个道理：新模型上线后，基准分数与研究结论都需要重新对一遍表。

相关阅读

• Claude Opus 5.5 通过率仅 45.6%：AI 榜单 105 个基准已饱和
• SOL-ExecBench 235 题拆解：无问芯穹 71 个单题第一
• OpenAI LifeVal 基准：3995 人样本与 90.4% 最低分
• OpenAI 重构 Model Spec：5 项核心价值与 4 层失配监控