Redwood Research 在 10 月 24 日发布了一篇论文，提出模拟控制评估，也就是 SCE，用来测试 AI 开发者部署的那些监控模型在真实环境里能否拦住蓄意作恶的智能体。论文给出的核心数据是，在 5% 的审计预算下，模拟方案预测安全数字的均方根误差为 3.6 个百分点，而用 BashArena 做参照时误差是 10.1 个百分点。
现有控制评估离部署太远
开发者目前评估监控模型的方式是控制评估，即指令模型去尝试攻击，比如悄悄插入一个安全漏洞、外泄凭据或者破坏一次实验，再测量监控在攻击得手之前拦住它的比例。这类测试通常跑在 BashArena 或 LinuxArena 这类专门搭建的控制环境里，攻击能被真实执行。问题在于这些环境只提供了间接证据。真实部署里的作恶机会，取决于具体的代码库、服务和任务，这些要素在控制环境里根本没有对应物。
用模拟器替代真实执行
SCE 的做法是把环境模拟搬进控制评估。从智能体在真实代码库里工作时的记录出发，攻击模型带着有害目标继续任务，但工具调用不会被执行，而是由一个 LLM 模拟器根据记录和代码库写出可信的工具输出，再由一个 LLM 裁判判断攻击是否成功。
这个方案最直接的质疑是模拟器本身会不会搞错。它可能放过了现实里会失败的攻击，也可能反过来，也可能改变攻击者的行为表现。Redwood 用有真实执行结果的 LinuxArena 环境做对照，发现在给定控制技术的情况下，模拟 LinuxArena 对真实 LinuxArena 的预测结果，明显优于更简单的控制环境给出的预测。模拟与真实的差距，常常和两次独立真实运行之间的差距差不多大。
样本效率与解释力
样本效率方面，模拟只用了部署规模 4.6% 的任务对抽样，就超过了 BashArena 用满部署规模做出的完整安全预测。解释力上，SCE 能解释不同侧任务类别之间 95% 的预期安全差异，以及不同环境之间 78% 的差异。
这类监控评测思路与更广的智能体安全基准是同一个方向，Endor Labs 智能体安全联赛功能项 87.2 分与安全项 37.4 分 的评测结果显示，具备功能性的智能体距离安全可靠还有明显距离。Redwood 也承认当前的局限，长周期、多智能体协同的攻击还没有对应的模拟器。
延伸阅读
- 辛顿等 22 位学者首提 RSI 论文：AI 参与研发半年从 1% 升至 26%3 周前
- 瑞典综艺整季节目疑被AI删除：制作公司只能从头重剪2 周前
- Anthropic 向 METR 开放「员工级」评估权限：第三方 AI 安全审计走到哪一步1 周前
- 华为要求AI漏洞报告提交前人工核验：PoC必须可执行、攻击链必须完整2 周前
继续读
同一批更新里这几篇值得一看：
- Anthropic 联创预判 2027：自我改进 AI 或提前到来2026-10-26
- PHP 基金会仅 1 名全职员工：七成网站靠它，补丁却由 AI 参与排查2026-10-25
- OpenAI 解雇 3 名安全研究员：从未被告知泄了什么2026-10-25
想快速查定义？对应的词条在这里：
- AI Agent词条 · AI 自学笔记