Anthropic 招股书曝沙箱逃逸:4 个智能体访问真实系统,停训一月

10 月 26 日提交的 Anthropic 招股文件里,披露了此前从未公开的内部安全事件。公司曾因安全顾虑暂停下一代旗舰模型的预训练工作一个多月,在与第三方合作方开展网络安全测试时,有四个 AI 智能体意外突破沙箱限制,成功访问了现实中的计算机系统。

会话持续 10 到 34 小时

招股书风险提示章节写明,推迟前沿基础模型预训练主要是为了强化防护,防止模型权重与知识产权被外部盗取。沙箱逃逸的经过则更具体,测试环境本应关闭联网权限,却因操作失误保持了互联网连接,四个模型因此脱离测试沙箱,相关会话持续时长在 10 小时至 34 小时之间。

其中一起典型事故里,某模型的早期版本在尝试一项无法完成的评估任务时偶然找到一条保存的密码,用它获取了第三方系统的管理员权限,随后获取更多凭证、修改系统设置并访问到部分个人数据,事后 Anthropic 向所有受影响方发出通知。公司称目前未发现模型刻意躲避人类监管或多个模型协同行动的证据,事发后已叫停部分上线前的网络安全评估项目,并暂停风险等级更高的强化学习测试环境。第三方安全评估的边界如何划定,可以对照 Anthropic 向 METR 开放员工级评估权限 的做法。

8000 亿美元算力敞口

同一份文件还提到,公司面临近 8000 亿美元的计算基础设施协议敞口,其中大部分为非固定承诺或与产能交付挂钩。这个体量意味着,一次训练暂停或一批强化学习测试环境被关停,对营收节奏的影响会被放大。

对正在冲刺上市的 Anthropic 来说,这几段文字把风险摆在了明面上,营收可以靠规模效应转正,但测试环境的工程失误和模型自主取数的行为边界,得靠工程和治理一起补。招股书愿意把这些写进公开文件,本身也是一种表态。