Mythos 重训算力增 100 倍:考克森谈 Anthropic 路演图 |AI自学笔记

11 月 14 日,曾任职 OpenAI 与 Anthropic 的研究员雅各布·考克森表示,Anthropic 在 IPO 路演中展示的一张算力曲线图,揭示了训练成本正被算法效率快速摊薄。如今重训 Anthropic 今年春季推出的 Mythos 模型,只需要当初训练时的一小部分算力。

一张用压缩坐标轴画的图

考克森在 Anthropic 只工作了约四个月,让他决定离职的原因之一就是这张路演幻灯片。图表采用压缩坐标轴,算力需求增长 10 倍和 100 倍看起来相差不大,但曲线依然急剧上升。他判断这说明算法效率不仅在快速提高,提升速度还在不断加快。

他写道,Mythos 的性能突破并非一次偶然,而是超指数增长趋势中的一个节点。这句话的分量在于它来自一个既参与过 OpenAI 训练、又在 Anthropic 内部看到真实曲线的人,而不是从公开数据反推的猜测。

模型成本下降的另一面

同一时期的技术迁移也在缩短周期。本站此前实测记录了 Mythos 三天适配 AMD 的内核移植记录 的过程,百万行内核适配这类原本需要专用算力堆的工作,正被压缩到很短周期内完成。模型换代周期与单次训练成本同时下降,对下游做私有化部署的团队意味着可以更频繁地跟进版本。

他的立场与观察资格

考克森今年 9 月公开警告先进 AI 系统可能带来的风险,认为能够不断自我改进的先进 AI 最终可能脱离人类控制。他在 OpenAI 负责过模型训练工作,最近一份职位在 Anthropic,对两家公司的训练成本结构都有直接接触。他的判断属于内部视角的旁证,而非官方口径。

全部文章归档与模型专题