10月10日，微软 CEO 萨蒂亚·纳德拉（Satya Nadella）通过社交平台发表长文，公开呼吁行业必须为先进 AI 模型引入”紧急制动”（emergency brake）机制，以应对超级智能技术快速演进带来的系统性风险。这是纳德拉迄今最系统的一次 AI 安全表态。
核心主张：模型与控制层必须解耦
纳德拉指出，当前行业将复杂 AI 模型视为”全知全能”工具的思路存在根本性缺陷。他建议将底层 AI 模型与其上层控制框架彻底分离：在模型层保持专注单一任务的能力，在控制层引入可验证的人工监督与可预测的断电开关，使人类在任何时刻都能对 AI 行为进行有效干预，而非完全依赖模型自身的对齐机制。
防御性假设：从”模型可信”到”模型已被攻破”
纳德拉明确提出，行业应以”模型已被攻破”作为防御性假设的起点，而非假设模型天然安全。这意味着安全架构的设计必须预先假设最坏情况：在模型遭到入侵、越狱或误用的情况下，系统仍能通过控制层迅速切断影响。他强调，这一逻辑在航空与核能等高风险行业已是标准实践，AI 领域理应跟进。
行业争议：关闭通道本身是攻击向量
纳德拉的文章发布后，多位 AI 安全研究员表示支持，但也有工程师指出：在超大规模模型中，任何可预测的关闭通道本身都可能成为攻击者的目标——一旦攻击者理解关闭机制的实现逻辑，即可优先将其破坏，届时”紧急制动”反而失效。这一争议表明，纳德拉的提议在工程落地层面仍需深入论证。
相关阅读：马库斯呼吁下架所有联网AI智能体：安全漏洞如同刹车失灵、纳德拉内部会议怒喷Anthropic：编辑控制之争
延伸阅读
- AI 恶意软件 ClosedQuorum 现身 Win11：入侵后自主决策3 周前
- OpenAI 推训练安全新规：高官手握否决权，警报超时自动停训2 周前
- Anthropic 五年投 10 亿美元做外部安全评估3 周前
- OpenAI 宣布 Astra 即将发布：因安全风险暂停后，9月1日更新进展1 月前
AI 自学笔记 每天更新 AI 前沿动态，订阅 RSS，或按 Ctrl/⌘+D 收藏本站，明天见。