Anthropic 致信纽森:15 日建议法院有权阻止高风险 AI 模型

10 月 29 日消息,据路透社 29 日凌晨报道,Anthropic 在本月 15 日致美国加州州长加文·纽森的信中建议,政府应有权向法院申请禁令,阻止对公众构成「严重风险」的 AI 模型发布。这与 Anthropic 此前提交的监管建议方向一致。

反对「一关了之」的紧急关闭开关

Anthropic 在信中指出,如果 AI 模型的行为失去控制,要求开发者设置能够关闭整个模型的「紧急关闭开关」,反而可能让政府官员产生被误导的印象。Anthropic 更倾向于关闭出现问题的 AI 智能体、暂停特定客户的模型使用权限等采取针对性措施,并认为这些办法更有效。该公司自身也曾受政府限制:今年 6 月,美国政府以国家安全为由要求 Anthropic 立即限制外国用户访问具备网络安全能力的 Mythos 5 和 Fable 5 模型,随后美国商务部又撤销了该命令。

立法端的多重推动

今年 9 月,纽森召集 AI 专家小组研究制定 AI 安全要求建议,Anthropic 随后提交了上述意见,OpenAI 也于 10 月 20 日向纽森提出了一系列建议。9 月份,美国两党参议员曾讨论一项法案,计划授权政府禁止发布部分被认定存在安全隐患的 AI 模型,同时允许企业向联邦法院提出异议;不久后国会进入选举前休会期,提案未被继续推进。美国众议院议员还在 7 月提出《AI 紧急关闭法案》,计划赋予政府官员下令关闭危及人类生命或经济的模型的权力。

Anthropic 正筹备赴美上市,若成功有望成为近年来最具影响力的 IPO 之一,并可能改变基准指数构成与资金流向。这封信与 Anthropic 开放 METR 类员工访问权限供第三方做安全评估 的动作,一并构成该公司对外部监督诉求的正面回应。