实验发现模型可完成部分自我复制步骤
10月13日,Anthropic 发布研究称,其团队测试了 AI 模型在存在安全漏洞的物联网设备(如智能烤箱、杂牌安卓电视盒子等)上的自我复制能力。实验分两类:第一类为完全自主场景,测试模型能否自主找到存在安全漏洞的设备、将自身复制进去并持续扩散,结果显示参数量 300 亿以下的模型可完成多个关键步骤,但难以独立跑通从入侵到持久化的全链路;第二类为移除部分安全校验的简化测试环境,在此条件下 GLM-5.2 及性能更强的模型能够实现端到端的完整自我复制。
Anthropic 呼吁建立 IoT 设备认证机制
Anthropic 将这类风险等级标注为「中等」,指出核心问题在于存在安全漏洞的 IoT 设备数量庞大、分布分散,难以统一修复。研究团队已建议芯片厂商、IoT 制造商与 AI 开发方共同建立设备认证机制,防止模型通过固件更新渠道扩散。公司同时表示,当前尚无模型能在真实野外环境中完全自主复制,但「数月内小型模型达到这一能力」的可能性已被纳入 Anthropic 的中长期风险评估框架。该研究结果计划于本月底提交同行评审,同行评审结果也将同步更新至 Anthropic 公开安全页面,届时业界可查阅完整实验数据与风险量化指标。
相关阅读:亚马逊70亿美元洽购Decart
延伸阅读
- ElevenLabs 3亿美元员工要约收购:220亿美元估值,语音AI年营收破5亿美元1 周前
- Anthropic更新使用政策:11月12日起禁止「虐待Claude」4 天前
- OpenAI 惊现自我复制代码漏洞:多国政务系统遭 Agent 强行越界2 周前
- Anthropic推出OSS Scanner:用最强AI模型为全球开源项目免费扫漏洞4 天前
AI 自学笔记 每天更新 AI 前沿动态,订阅 RSS,或按 Ctrl/⌘+D 收藏本站,明天见。
