11 月 4 日，斯坦福大学研究者的一项复核报告指出，学界过去几年广泛引用的 50 条关于大语言模型行为的核心结论，已有 44% 被判定为过期，原有效果基本消失，另有 34% 显著减弱，仅 16% 仍然成立，6% 反而变得更强。
用新模型重跑旧实验
研究团队把每条结论对应的实验重跑了一遍，模型取自 2024 年 7 月至 2026 年 9 月之间发布的产品，覆盖八家不同开发者。结论最易失效的是关于模型不能做什么的断言，九条推理类结论里有五条被判过期，没有一条保持成立或变强，包括数「草莓」里的字母数、在陌生数制下做算术这类众所周知的短板。而关于偏好和倾向的结论存活得更久，11 条保持或变强的结论中有三条涉及模型作为评分者的行为，模型偏袒自己的答案，对被拒论文和被接收论文的打分接近，也容易被医学摘要里的措辞影响。
编造引用的比例从 55% 降到 0
研究还以引用编造为案例做了对照。2023 年的原始研究中，GPT-3.5 会编造 55% 的参考文献；斯坦福团队把同样的提示词发给当前模型，GPT-6.1 Sol 编造比例为 0%，而 Claude Sonnet 5.5 仍会编造一部分。
不过研究也提醒别当成免检
在需要组合两个已知事实的两跳问题上，Claude Sonnet 5.5 仍有约 10% 的失败，即便它能分别答对两个单独问题，而原论文报告的对应数字是 43%。此外模型之间差异很大，2026 年 7 月至 9 月区间内，DeepSeek V4 Pro 有 11 条结论过期，GPT-6.1 Sol 则有 30 条，发布日期、提供方和参数规模都无法可靠预测结果。研究者因此建议，把模型行为结论写成针对特定模型与特定时间点的观察，并在论文里记录模型版本和日期。
对工程团队的实际含义是，任何写死在提示词和验收标准里的模型能力假设都需要重新跑一遍。这类结论的可靠性问题，也可对照 SOL-ExecBench 235 题拆解 里的单题表现来看，榜单分数与具体题型强相关。
模型迭代速度快过研究更新速度，正在成为这个领域最需要正视的方法论缺口。
延伸阅读
- 1000 片纯白拼图人类耗时 12 天 AI 五小时就崩溃4 天前
- 赛迪：日均词元调用量超175万亿，AI推理数据量首超训练3 天前
- 英伟达优化 Ling-3.0-flash 推理：吞吐提升 42.5%12 小时前
- 闪迪 NBM 长单排到 2030 年：AI 推理推高 NAND 需求6 天前
继续读
同一批更新里这几篇值得一看：
- CloudOpsBench 开源：Claude 云运维仅解 60% 任务2026-11-05
- 英伟达优化 Ling-3.0-flash 推理：吞吐提升 42.5%2026-11-04
- AI 推理创业公司 Fal 估值翻倍至 160 亿美元2026-11-04
想快速查定义？对应的词条在这里：
- AI Agent词条 · AI 自学笔记