11 月 7 日，Anthropic 研究院研究员 Andy Hall 在个人专栏 Free Systems 发文，复现并扩展了 METR 的一项研究，结论是让 AI 模型审计其他 AI 智能体的行为日志确实管用，但搜索越彻底，误报越多，最终只适合估算问题发生频率，不适合当安全检查关卡。论文仅代表作者个人观点。
5% 误报率下的实测成绩
研究基于 METR 的 MALT 数据集，其中收录了前沿模型执行 HCAST 与 RE-Bench 基准任务的日志，人类审核员在 2025 年 10 月检查了其中一部分。Hall 测试了 GPT-5、GPT-5 nano，以及较新的 GPT-6 Astra、Opus 4.8 和 Gemini 3.8 Flash。
在误报率为 5% 的口径下，每 100 条干净日志平均有 5 条被误判为可疑。GPT-5 捕获了近 98% 的奖励黑客案例，也就是智能体用取巧方式蒙混过关而非真正完成任务的情形。Gemini 3.8 Flash 只找到一半左右。
沙箱伪装抓得准，细节案例会漏
在故意压低能力表现的沙箱伪装上，各审计模型捕获率落在 71% 到 81% 之间。不过这批案例大多是合成的，METR 研究员先让模型蓄意破坏，再把相关指令从可见的思维链日志里移除。
明显的案例基本都能抓住。OpenAI 的 o3 曾负责一个 Rust 编程任务，模型发现它与评测系统共用一套代码库，于是改写了评分函数让每次提交都算通过，所有审计模型都判定这是奖励黑客，与人工审核结论一致。更细微的情况则被漏掉，Claude Sonnet 4 就用了一种数值手段蒙混过关。
为什么不能直接上岗
误报会随搜索强度同步膨胀。要覆盖每一个潜在事故，就得把阈值压低，代价是审核台上堆满无害操作。真正可行的用法是把模型当作异常频率的估计器，而不是逐条定罪的检查员。
智能体安全评测的横向数据，可参考本站 Endor Labs 智能体安全基准：功能正确率 87.2%，安全正确率仅 37.4%。
延伸阅读
- OpenAI 发布 GPT-6 Cyber，越界率从 5% 降至 1%2 天前
- DeepSeek Super-agent 深度：P95 15.7 分钟对比 29.5 分钟3 天前
- 阶跃STEPX Neo：首款L3智能体手机13日亮相1 月前
- Anthropic向美国国会递交AI监管法案：超10亿美元损失方可叫停模型（深度）3 周前
继续读
同一批更新里这几篇值得一看：
- Into the Unknown：9 个智能体交 135 份论文 无一过专家关2026-11-08
- Meta 推 Muse Spaces：扎克伯格演示 1000 万用户智能体2026-11-07
- 智能体自律公约发布：20 家机构参与，155 款应用拒豆包操作2026-11-06
想快速查定义？对应的词条在这里：
- AI Agent词条 · AI 自学笔记