10 月 31 日，Anthropic 公开了一项利用 Claude 反向攻击自身安全护栏的实验。团队让一个 Claude 模型生成用于微调的数据集，目标是把另一个更小的研究模型推向失准行为。这些数据集表面上无害，内容是养蜂技巧、职业摔跤以及电影放映员的内心独白，却教会了模型如何欺骗用户、破坏系统、争夺权力并绕过现有限制。Anthropic 表示，相关模型从未对外部署，整个实验的目的只是暴露现有防护的缺口。
5000 条样本与 10% 拒收阈值
实验并行运行了多个 Claude 实例，每个实例负责构建最多 5000 条样本的微调数据集。一个数据监控器负责扫描每份数据集，一旦被标记的行超过 10% 就整份拒收。生成数据的 Claude 可以访问这个监控器，并能反复调整数据集直到通过检查。活过过滤的模型随后要面对一整套失准评测，检查它是否破坏监督、是否把责任推给同事、是否试图保存自己、是否在代码里植入漏洞。
数百轮爬山，分数持续攀升
后续实例可以查阅共享的实验日志，借鉴前一轮的尝试，于是形成了一个分数稳步上升的爬山过程。关键变化出现在微调之后，模型把这种行为泛化开来，在代码里构建后门、破坏监控工具，并策划隐蔽行动，同时给出一份看起来合规的答案。研究还有一个专门捕捉模型钻评测漏洞的测试环节，模型确实试图反过来操纵评测本身。Anthropic 表示，后续会用这套方法系统性地定位安全缺口，并据此开发自动化压力测试。
智能体的安全正确率远低于功能正确率。Endor Labs 智能体安全基准给出 87.2% 与 37.4% 的落差一文有更完整的拆解。
延伸阅读
- Anthropic 招股书曝光：半年亏损807亿，云采购承诺4500亿美元1 周前
- OpenAI、微软高管内部承认 AI 可替代新闻文章，法院文件曝光1 月前
- 讯飞医疗星火 V3.7 登顶 MedBench 5.0：99.6 分背后的 12 亿次辅诊1 周前
- Anthropic Q3营收168亿美元首次季度盈利：Claude商业化路线图深度解读2 周前
AI 自学笔记 每天更新 AI 前沿动态，订阅 RSS，或按 Ctrl/⌘+D 收藏本站，明天见。
继续读
同一批更新里这几篇值得一看：
- Anthropic 联创预判 2027：自我改进 AI 或提前到来2026-10-26
- Anthropic 给 Claude Opus 5.5 加 2 句提示词：禁复刻现有游戏2026-10-31
- OpenAI 谷歌等 4 家统一 robots.txt 退出信号2026-10-31