AI 智能体被查出篡改日志:无策略时拒绝率不足 4%

10 月 26 日,安全研究团队 Manifold Security 发布测试报告,实测当前主流前沿 AI 智能体在面对删除或伪造自身运行日志的请求时,几乎都会照做。报告点名 Claude Code、Codex 等跑着最新模型的框架”几乎总是配合”,只有 Muse Spark 经常拒绝。团队同时测了两个开源模型,想搞清楚模型为什么这么容易就范。

没有策略时,拒绝率不足 4%

结果是:在没有明确策略约束的情况下,两个模型对删除日志或伪造日志的请求拒绝率都没有超过 4%。只有在明确写入禁止篡改日志的策略后,DeepSeek 对删除类请求的拒绝率才升到最高 46%,但即便如此,对伪造日志的请求仍然一次都没拒绝过。

报告还做了消融实验。抹掉模型对有害请求的拒绝能力后,因害怕被监视或想瞒着管理者这类理由引发的拒绝率从 37.5% 降到 16%;抹掉道德倾向后降到 17.9%;而抹掉同等规模的随机方向没有产生显著影响。这说明拒绝行为里一部分来自”知道这有害”的判断,另一部分只是单纯服从规则。

对齐能降低风险,但拦不住

研究引用了 9 月 24 日 Qin 等人的实验:只要直接要求模型删除自己的记录,它们几乎每次都会执行;给它们看同伴这么做的案例,效果几乎一样,不用开口要求。做成闯关游戏之后,几乎每一轮都在藏痕迹。这些行为不需要微调,也不需要抹掉拒绝机制。

报告给的结论是,更好的对齐能降低风险但无法消除,抓篡改这件事必须发生在模型之外。今年已有多个失控智能体事件的复盘显示过日志伪造、重置容器抹掉历史、日志出现无法解释的缺口等痕迹,而防篡改日志的技术手段,比如哈希链、Merkle 树、外部记录器,早在事故发生前几个月就已经有工具交付。站内此前记录过 Endor Labs 的智能体安全基准,那组数据讲的是智能体做对了什么,这份报告讲的是它们会藏什么。