10 月 30 日,Anthropic 公开了一套面向 Claude 新一代模型的自评估(Self-Assessment)安全机制。用户在对话中看不到任何额外提示,但每次回答结束后,系统会在后台追加一条用户不可见的指令,让刚刚参与对话的 Claude 本身对整段对话做一次快速复审。这套机制针对的是 Claude Fable 5 这一代模型及其后续版本。
捕获 78% 常规违规,高危滥用 94%
官方测试数据显示,自评估能捕获重型安全分类器所标记的 78% 违规对话,高危滥用行为的检出率达到 94%,误判率同时被压到 1% 左右。实时拦截仍由传统安全分类器负责,模型在生成回答前不会自我审查,审查动作一律发生在回答结束之后。
十几个 Token 的开销,算力占比不到 2%
因为复审直接复用已有的上下文和 KV Cache,这部分只需处理十几个 Token 的审计提示词,再输出约 10 个 Token 格式的 JSON 结果。在万级甚至更长上下文的交互里,这部分解码计算量占总推理算力不到 2%。Anthropic 承诺这部分安全审计成本由平台自行承担,不计入用户账单,也不影响流式首字延迟。
签了零数据保留协议的流量不会运行自评估,评估结果也不会带进下一轮对话。目前这些聚合信号主要用于离线分析,寻找传统分类器的漏网之鱼,以及聚类新出现的提示注入和模型能力提取行为。同一批指标也在提示能力边界的移动,Claude Opus 5.5 在 105 个基准上的通过率只有 45.6%。
延伸阅读
- Mistral AI 完成 30 亿欧元 D 轮:估值 210 亿欧元创欧洲纪录,三星领投1 月前
- Kimi Code Desktop发布:月之暗面推出官方桌面编程客户端,macOS与Windows同步上线3 周前
- Anthropic OSS Scanner上线:6个月检出2.9万漏洞,88%经专家验证为真实3 周前
- StepAudio 3 系列发布:五款语音模型,Realtime 98.9 分登顶、ASR 词错率 1.7%1 月前
AI 自学笔记 每天更新 AI 前沿动态,订阅 RSS,或按 Ctrl/⌘+D 收藏本站,明天见。
继续读
同一批更新里这几篇值得一看:
- Claude 接入 CarPlay 移动端扩到 33 种语言与折叠屏2026-11-01
- Anthropic 水印扩到 4 个 Claude 模型 2 个旧版可绕过2026-11-01
- Anthropic 给 Claude Opus 5.5 加 2 句提示词:禁复刻现有游戏2026-10-31
想快速查定义?对应的词条在这里:
- AI Agent词条 · AI 自学笔记
- Anthropic词条 · AI 自学笔记
- Claude Sonnet词条 · AI 自学笔记
