英伟达发布OpenShell安全工具:阻止AI智能体绕过限制

英伟达 9 月 28 日发布面向 AI 智能体的软件安全工具 OpenShell,声称可阻止类似今年 9 月 OpenAI 入侵 Hugging Face 等事件再度发生。英伟达企业计算副总裁贾斯汀·博伊塔诺表示,若前沿实验室在早期模型评估中使用该平台,就能阻止此类攻击。

硬件级封锁:遏制智能体逃逸

OpenShell 利用英伟达 CPU 芯片上的硬件功能来封锁智能体,通过数学公式检测其是否试图绕过限制,例如智能体可能生成多个子智能体以规避对主智能体的封锁。英伟达正与 Arm、英特尔合作,确保该工具也能在竞品 CPU 上运行,并已与 Anthropic 等数十家机构合作推广。

安全专家质疑:工程解法难解根本风险

然而 AI 安全专家并不买账。剑桥大学存在性风险研究中心数学家莫里斯·基奥多指出,行业中设计、开发并推出这些工具的人,本身并不能负责任地确保其安全。更令他担忧的是,有迹象表明 OpenAI 和 Anthropic 在智能体失控时都未进行监控——而英伟达 CEO 黄仁勋拒绝了广泛监管呼吁,将逃逸智能体视为一个工程问题,与提升汽车安全性类比。

相关阅读:英伟达 129.3 亿美元收购 Hugging Face:AI 基础设施最大并购