不靠更新权重,大模型也能在陌生环境中「自学成才」。伦敦大学学院(UCL)与华为诺亚方舟实验室英国团队联合发布的 Memento 3 系统(arXiv:2610.11794),首次在完全冻结 LLM 基础参数的条件下,通过外部规则书与世界模型实现了纯基于模型的递归自我改进(Recursive Self-Improvement, RSI)。在 ARC-AGI-3 基准上,Memento 3 以满分 100 RHAE 通关了全部 25 款公开游戏的 183 个关卡,动作数仅为人类的 44%。
RSI 架构:规则书 + 世界模型 + 精确重放
Memento 3 的核心设计称为「Code as Model」(代码即模型)。系统维护一份自然语言规则书(Rulebook),记录 AI 对游戏规则的当前理解;然后将规则书编译为 Python 代码,构建一个「世界模拟器」;在模拟器中规划行动,用真实环境反馈校验预测。
当模拟与现实不符时——例如 AI 最初认为「特殊地板会镜像携带的图案」,但实际上图案旋转了 90 度——系统会修正规则书并重新编译代码。每一次变更都会在 Git 中留下记录,失败的修改可随时回滚。
此外,系统还实现了 Cell-Exact Replay(单元级精确重放):对每一个 64×64 像素帧进行比对,确保代码重建的历史完全忠实于实际操作序列。只有同时通过 LLM 语义忠实度审查和精确重放双重校验的代码修改,才会被正式采纳。
关键数据一览
| 指标 | 数值 | 说明 |
|---|---|---|
| ARC-AGI-3 RHAE 得分 | 100.0(满分) | 相对人类行动效率,满分即最优 |
| 通关动作数 | 7,518 | 人类基准:17,135(AI 仅用人类 44%) |
| 基础模型 | Claude Opus 5 | 全程冻结,无权重更新,无游戏专项微调 |
| 官方 ARC Prize RHAE 基线 | 40.7 | 同款模型在官方测试框架得分,加分来自 Memento 3 架构 |
| 规则书单测效果(3款游戏) | 动作 -9%,轮次 -18% | 保留规则书 vs. 不保留规则书的 Ablation 对比 |
| 双世界模型效果(单款游戏) | 899 → 597 动作 | 竞争世界模型选优 vs. 单世界模型 |
| Atari Pong 测试 | 21:0 三局完胜 | 9,500 帧后合成反馈控制器,LLM 不再介入操作决策 |
为什么这不只是「又一项游戏 AI」
ARC-AGI-3 不同于传统 benchmark 的关键在于:AI 需要在没有规则说明的情况下自行摸索世界规律。规则是什么、目标是什么、每个操作会产生什么后果——全都不告诉 AI。这模拟的是人类进入陌生环境时的核心认知挑战:零样本泛化。
Memento 3 在这个挑战上取得满分,且全程不触碰模型权重。这意味着「进化」发生在规则书层面,而不是在神经网络内部。从系统架构看,这对应了一种新范式:智能不只来自训练时的参数更新,也来自推理时外部记忆与模拟器的持续交互。
这一路径与传统的「Scale up 参数量」形成对照。ARC Prize 官方测试框架中,同样的 Claude Opus 5 基础模型只有 40.7 RHAE。换用 Memento 3 的 RSI 架构后,分数跳升至 100.0,提升幅度达 59.3 分。这说明在特定任务上,推理时架构创新对性能的影响可以远超模型规模的提升。
两个 Ablation 结果揭示的规律
研究团队通过对照实验量化了 RSI 各个组件的贡献:
规则书的贡献:在 3 款游戏上禁用规则书机制后,动作数平均增加 9%,AI 决策轮次增加 18%。规则书使 AI 能够复用跨关卡学到的经验,而非每关从零开始。
双世界模型的价值:在单款游戏中同时维护两个竞争性世界模型(各自有不同的规则假设),由模拟结果决定采纳哪一个。这一机制使动作数从 899 降至 597,减少约 34%。这一数字远超规则书的 9%,说明在高度不确定的环境中,维持多假设并通过现实反馈做选择,比单一假设更高效。
局限性与待验证问题
Memento 3 的官方论文(arXiv:2610.11794)尚未经过同行评审,结果需谨慎解读。已知的局限性包括:
- RHAE 指标上限为 100 分,无法区分「与人类效率相当」和「远超人类效率」,满分可能低估了系统的真实优势;
- 测试集为公开游戏,官方隐藏测试集(用于防止过拟合)的性能尚无公开数据;
- 规则书机制在 token 消耗上仍然较高,更复杂的真实世界场景尚未验证。
与 RSI 研究的关联
Memento 3 是 RSI(递归自我改进)思想在代码/游戏智能体领域的首次系统性工程验证。今年早些时候,辛顿等 22 位学者联合发表的 RSI 论文指出,AI 参与研发的比例正从半年内的 1% 快速升至 26%,并探讨了算力可支撑数百万研究员等价劳动力的前景。Memento 3 则提供了一个具体的技术路径:不是让 AI 改变自身权重,而是在外部记忆中积累和改进规则,用更少的动作完成更复杂的目标。
FAQ
Memento 3 与 DeepMind 的 AlphaZero 有何本质区别?
AlphaZero 通过自我对弈更新棋类/围棋的神经网络权重(强化学习),属于「参数内的自我改进」;Memento 3 保持底层模型完全冻结,改进发生在外部规则书层面(参数外的自我改进),不依赖大量环境交互来更新权重。
Claude Opus 5 在这个系统里扮演什么角色?
Claude Opus 5 是「认知引擎」,负责理解规则描述、编写 Python 代码、诊断预测偏差。它全程以最高推理模式运行,但所有「学会了什么」都存储在规则书而非模型权重中。
Atari Pong 21:0 意味着什么?
Pong 是雅达利经典游戏,物理规则相对简单但需要实时反应。Memento 3 在学习约 9,500 帧的反弹物理后,合成了一个独立的反馈控制器,以 21:0 击败对手,全程无需再调用 LLM。这说明一旦规则被精确编码,LLM 可以完全退出决策循环。
小结
Memento 3 证明了一条「不靠 Scale,靠架构」的自我改进路径:冻结基础模型,在外部记忆中构建规则书与世界模型,通过预测误差驱动递归改进,在 ARC-AGI-3 上取得满分。这一结果与 RSI 论文的核心思想高度一致,也向「通用智能是否必须依赖参数量增长」这一命题提出了具体的技术反驳。后续需关注论文正式 peer review 后的结论,以及该架构向真实世界任务(代码开发、机器人控制)的迁移效果。
相关阅读
- 从RSI论文看智能爆炸:算力可支撑数百万研究员等价劳动力,进步速度1.5年加快10倍
- 辛顿等 22 位学者首提 RSI 论文:AI 参与研发半年从 1% 升至 26%
- Claude Opus 5.5 Max 深度分析:登顶 Arena 智能体榜首,17.29% 确认率意味着什么
- Claude管理智能体新增动态工作流:1000路并发,漏洞检出率从27%升至94.3%
延伸阅读
- Grok Bot开放调用Claude/Midjourney/Suno:马斯克承认模型路由5 天前
- 突发 | DeepSeek 预告 API 大幅涨价:「价格屠夫」也顶不住算力成本了2 月前
- Google开放SynthID Detector:上传即查AI水印,1800亿张图已嵌标记5 天前
- 纳德拉内部会议怒喷Anthropic:那句「编辑控制」是如何撕破微软与Anthropic默契的3 月前
