METR评估:Anthropic模型能力增速翻倍至1.9倍

11 月 5 日,非营利评估机构 METR 发布了一份名为「Anthropic 十月 AI 研发加速独立评估」的报告。这份报告基于 METR 团队从 8 月 12 日到 10 月 29 日、为期约 11 周进驻 Anthropic 内部完成的实测,结论是 Anthropic 在明确可评分任务上的模型能力提升速度,已约为 2024 年 3 月至 2025 年 10 月那段历史期的两倍。

1.9 倍加速是怎么算出来的

核心指标是 Anthropic 自建的 AECI 能力指数。2025 年 10 月之前,Anthropic 模型的 AECI 分数每年大约提升 15 分;此后这一速率升至每年约 29 分,估算的加速倍数为 1.9 倍,95% 置信区间在 1.5 至 2.8 倍之间。METR 由此给出一个直白的换算:Anthropic 在过去一年里取得的基准进展,约等于 2023 年 10 月至 2025 年 10 月两年的历史积累。METR 明确表示,他们有把握排除训练算力规模加速这一解释,增速并非来自堆更多算力。

八成加速可能来自 AI 自身

报告推测当前加速的约 80% 可归因于 AI 参与研发本身。支撑证据偏软但方向一致:约 15 名员工的访谈中,可编码的 11 人里有 5 人确认或倾向认为达到 2 倍或更多;非正式 Slack 投票里,员工把最新内部模型带来的效率提升评为约 12 倍,而 Claude 3.7 Sonnet 时期仅约 1.2 倍。METR 特别提醒,个人 12 倍并不等于整体研发 12 倍加速。Anthropic 内部新型号 Model 4 在 15 项基准上的得分全部超过 50%,这让下一次跃升越来越难测量。

没看到明显瓶颈,但证据被大量删节

METR 没有发现算法进展、训练算力、实验算力或数据方面会在未来 12 个月内形成显著瓶颈的证据,因此认为若能力继续提升,复合加速的风险真实存在。报告也自我标注了误差方向:若近期增速已进一步加快、或自动化程度比研究者估计更高,结论可能被低估,反之若 Anthropic 早前的历史速率被低估或模型在基准类任务上过拟合,1.9 倍则可能偏高。此外 Anthropic 行使了单方面删节权,算法进展估算、瓶颈分析、未来模型指标预测等最关键证据均未公开。Anthropic 正在筹备上市,评估恰逢 CEO Dario Amodei 呼吁行业放慢能力提升节奏的时期。