谷歌 Sleep 框架：1000 万 Token 上下文与 AIME 79.2 分

谷歌研究团队 10 月 27 日发布了一篇论文，把大模型的持续学习做成了一个带「清醒期」和「睡眠期」的完整生命周期。核心机制是记忆巩固与做梦两段离线流程，配套的数字很硬：长上下文端几乎无损扩到 1000 万 Token，数学推理端 AIME 24 拿到 79.2 分，事实知识吸收端 SQuAD 达到 48.9 分。这套方案值得单独写一篇，因为它把大模型的知识截止日、灾难性遗忘、长上下文衰减三件事放进了同一个框架里回答。

先把最容易被误读的地方说清楚。谷歌在文里反复强调，睡眠、做梦这些神经科学词汇只是比喻，实际运行的是一个由人定义训练规则的离线参数更新流程，模型不会在你离线的时候自己偷偷变聪明。这不是已经上线的产品功能，也没有对应的 API 或发布时间表。要理解它，得先看它要解决的那三个老问题。

知识截止日、灾难性遗忘与上下文蒸发

主流大模型完成预训练之后基本就进入静态部署状态。它能完成训练时学过的事，但无法在部署之后继续获得新能力，所有事实都停在一个固定的截止日期上。

要突破这个截止日期，业界有两条老路，都不理想。

第一条是拿更大的数据重新做预训练。有效，但算力成本高到不可能频繁执行。

第二条是持续做参数更新，比如微调或低秩适配。问题是灾难性遗忘，模型刚学会新东西，原有任务上的表现就明显退步。这不是工程调优能完全绕开的矛盾，因为参数的总量有限，新知识必须覆盖掉一部分旧知识才能写进去。

还有第三条路是只依赖上下文学习。模型在会话里能临时用上新信息，但会话一结束信息就随之消失。这也正是当前智能体产品的一个现实痛点：模型要靠一份越来越长的记忆文档维持对用户和项目的了解，而记忆文档会挤占真正干活的上下文空间。谷歌团队在博客里直接点名了这个困境，他们认为语言处理效率应当像准确性和速度一样，成为产品的基础要求之一。

本文提到的连续翻译实验把这个矛盾压缩成了一个可测量的现象。在满吉语和卡拉芒语这两个预训练未见语言上，标准上下文学习在顺序学习设置下性能断崖式下跌，基本退回预训练行为，而消除了做梦环节的版本跌到 35.7 分。

两级记忆：Continuum Memory System 的设计

谷歌这套方案的底层是一个叫 Continuum Memory System 的架构抽象，作者是 Ali Behrouz、Farnoosh Hashemi、Adel Javanmard 与 Vahab Mirrokni，来自谷歌与康奈尔大学。

它的出发点是把 Transformer 的两个部件看成频率谱的两端。注意力模块是关联记忆，它的更新跨度等于上下文长度，也就是在上下文结束时相应参数被更新一次，学到的东西随之被遗忘。前馈层也就是 MLP，在训练阶段结束后就冻结不再更新，承载预训练获得的知识。翻译成更新频率的语言，注意力是无限高频，MLP 是零频率。

Continuum Memory System 把它改成一个序列模型加上一串各自带更新频率的 MLP 模块，每个模块有自己的分块长度 C。谷歌团队此前推出的 Hope 模型正是这套架构下的代表，在 Titans、RMT、ARMT 等同路线工作之后延续至今。本文使用的实验模型同样基于 Hope 家族。

这个设计带来一个明确推论。记忆的脆弱与稳定是相对的，一个块里的记忆相对于更高频的块而言是长期的。于是记忆巩固不再是一次性的两步操作，而是反复把高频块的知识往低频块转移的迭代过程。

记忆巩固：Knowledge Seeding 怎么把短期记忆写进参数

记忆巩固这一段解决的是怎么把高频块里的东西搬进低频块而不丢知识。谷歌给出的方案叫 Knowledge Seeding，用的是向上蒸馏，小模型当老师，大模型当学生。

具体流程分三步。Compute 阶段先根据累积梯度算出高频块的新参数，但先不应用。Consolidate 阶段把更新前的模型状态当作老师，把应用了新参数并重置专家块的模型当作学生，同时在低频块里新加一组低秩专家 A 和 B，通过最小化师生蒸馏损失来优化它们。Update 阶段才真正落地三件事，应用基座参数更新，重置高频块里临时加的专家，也就是论文里说的突触修剪，然后激活新的低秩专家。

这里有个容易被跳过的设计判断。谷歌没有直接微调同一组权重，而是坚持先把旧参数算出来再蒸馏到新增容量上。原因是如果先覆盖再学，新知识进来时旧知识的载体已经被破坏了。参数扩展在这里的作用是给新知识一块独立的空地，让巩固过程不必然引发遗忘。

谷歌还提出一种广义蒸馏方法，把在策略蒸馏与基于强化学习的模仿学习结合起来，用于这套向上蒸馏流程。这是概念验证性质的实现，不是一套完整的生产方案。

做梦：模型自己出题、自己筛题、自己练

巩固阶段对应人类睡眠中的慢波阶段，负责记忆固化。做梦阶段对应快速眼动睡眠，大脑此时高度活跃，靠自我修改来强化新形成的连接。

谷歌的实现建立在 SEAL 工作之上，但作者指出接入睡眠范式要解决三个问题。SEAL 内循环里的有监督微调开销很大，导致自我编辑次数受限。迭代自我改进在持续学习场景下有引发灾难性遗忘的风险。SEAL 的采样过程只在模型已有的知识空间里取样，而做梦的关键作用之一是探索新的记忆组合。

做梦的具体做法是让模型带着任务上下文生成多个候选样本，论文里的术语叫 dream。在采样环节，混合专家模块里的每个路由器都会额外随机挑一个专家，把不相关的知识也掺进来，制造模型平时看不到的模式。接着用基于梯度的数据选择给每个 dream 打重要性分数，取分数最高的若干个再混入若干随机样本以保持多样性，然后对这批样本做隔离实例上的低秩微调，并按微调后模型相对微调前在下游任务上的提升情况给出奖励，保留真正带来改进的样本。

这一段和巩固阶段的分工很清楚。巩固负责把已经发生的事写进参数，做梦负责在没有新数据的情况下自己制造练习材料，把能力推得更高。

三张数据表：数学、知识吸收与长上下文

论文的实验覆盖四个方向，长期任务、知识吸收、少样本泛化、长上下文理解。下面三组数字是全文最有信息量的部分。

数学推理用 Qwen3 系列的两个尺寸做骨干，每题采样 16 次取平均。

值得留意的是 8B 尺寸那一行的有监督微调，AIME 25 从 68.1 掉到 66.4，HMMT 25 从 42.4 涨到 43.7。单纯微调在这个规模上会换来一项退化，而睡眠范式在三个基准上同时推进。

事实知识吸收用 SQuAD，衡量模型在吸收新事实后能否答对问题，分单段落与 200 段持续预训练两种设置。

这张表最能说明做梦环节不是装饰。去掉做梦，成绩从 48.9 掉到 35.7，比不做任何改进的基础模型只高 3.8 分。而去掉梯度筛选或去掉随机专家的损失要小得多，各差 1.8 分和 0.9 分。

长上下文端用 BABILong 基准，谷歌报告睡眠版模型几乎无损地扩到了 1000 万 Token。对照组的表现分成两档。GPT-4 与 GPT-4o-mini 这类大模型在上下文变长时快速退化，失败点集中在 12.8 万到 25.6 万 Token 之间。Llama-8B 加检索增强在约 100 万 Token 处达到稳定极限。RMT、ARMT、Titans 这些小规模长上下文模型大约在 100 万 Token 之前与睡眠版相当，超过这个点则急剧劣化，只有睡眠版一路稳定到 1000 万 Token。

论文给出的解释是，睡眠机制在巩固阶段把短寿命的激活转换成紧凑的参数表示，通过巩固期学到更高层的抽象来更高效地保留任务相关信息，从而降低对上下文长度的敏感度。

这个结果的量级值得和站内此前的长上下文工作对照阅读。Mirendil Fern 0.1 在检索任务上同样打到了 1000 万 Token，走的是完全不同的技术路线，两边放在一起看，能更清楚长上下文瓶颈究竟卡在检索还是在参数容量上。

消融实验与效率账

少样本抽象推理这一组用的骨干是 Llama-3.2-1B，训练 11 个任务、留出 8 个任务评测，每个任务采样 60 个 dream 并拒绝掉 45 个，测试时每个未见任务生成 5 个 dream 独立应用后预测答案，指标是能产出正确答案的 dream 比例。

效率的账有点反直觉。按相同步数算，有监督微调比睡眠范式快 4 倍，但两者性能不可比。论文换了个口径，训练到 AIME 24、AIME 25、HMMT 25 三个基准上的相同水平，有监督微调分别需要 4.3 倍、3.6 倍、4.8 倍的挂钟时间才能追平睡眠范式。也就是说睡眠范式贵，但在同等成绩这个口径下反而更省。

训练超参数三者一致，学习率 5×10⁻⁶，有效批大小 32，低秩适配秩 64、系数 128，睡眠范式与微调都是 100 步，GRPO 是 500 步。

类别增量学习部分用 CLINC150、Banking77、DBpedia 三个数据集，骨干是 Llama-3B 与 Llama3-8B，对照上下文学习、弹性权重巩固 EWC、带外部学习者的上下文持续学习 InCA。结果是睡眠范式在三个数据集上全面领先，包括压过正则化方法和外部学习者方案。

长期任务那一段的结论是巩固阶段能把提示层的临时适应转化为持久的参数记忆，而反复做上下文更新无法做到这一点。这一判断在站内讨论记忆型架构时也出现过，记忆原生大模型 MemT-1.0 走的是把记忆做成原生模块的路子，TokenGate 用门控剪枝压预填充耗时走的是把长上下文计算变便宜的路子，三种思路针对的其实是同一类瓶颈。

论文的边界，以及它没有回答的问题

谷歌把这篇工作明确标注为概念验证。有几件事必须写清楚。

论文本身不是 10 月 27 日才出现的。arXiv 记录显示首版是 2026 年 6 月 2 日，v2 是 7 月 10 日，OpenReview 上从 2025 年 9 月起就有公开版本。10 月 27 日的官方博客是把这套方法用更清楚的方式讲给公众听，同时补齐了部分实验表述，事件本身在 10 月 30 日这个时间点仍是新的。

没有独立复现。全部数字都来自作者团队的实验环境，没有第三方在独立环境里跑出过同样的结果。

1000 万 Token 那个最亮眼的数字有明确的适用范围。它来自 BABILong 这一个检索类基准，衡量的是模型在特定结构下的信息保持能力，不等于说一个日常对话的助手能可靠记住用户生活里的每一件事实。相互冲突的事实如何处理、隐私数据如何删除、偏好变化如何跟随、不同任务之间如何互相干扰，这些问题论文都没有涉及。

1000 万 Token 的记忆是压进参数里的。这带来一个治理层面的问题，一旦写入参数，遗忘就不再是把一段文本从上下文里删掉那么简单，而是需要重训或回滚，成本与普通的记忆文档管理完全不在一个量级。

还有一个时间线上的细节值得留意，arXiv 记录里那条更新时间是 2026 年 10 月 30 日，与官方博客发布只隔了三天，但页面上的版本号仍停在 7 月 10 日的 v2，说明记录层面的更新与论文内容的正式修订并不同步。

回到那句最容易被误读的话。所谓模型睡觉，指的是模型在离线阶段执行一次由人定义的参数更新流程，把它此前积累的短期上下文写进更稳定的参数里，再自己造一批练习材料强化能力。它是一种离线训练生命周期设计，不是助手在你放下手机后自己偷偷变聪明。

常见问题

大模型真的会自己学习吗

不会自动学。睡眠范式描述的是一条离线训练流程，触发条件、训练目标、哪些记忆可以被写入，都由人预先定义。模型不会在会话之间自主发起参数更新。

这套方法和 RAG 有什么区别

检索增强是把外部文档放进上下文，记忆会随上下文窗口一起被挤压，检索质量决定效果。睡眠范式把选中的信息蒸馏进模型参数，属于结构性改变模型本身。两条路线的成本结构完全不同，站内对 向量索引的压缩与延迟代价 的实测显示，检索侧的空间与速度账同样不轻松。

普通用户现在能用上吗

用不上。论文没有发布模型权重、代码或产品计划，谷歌的表述停留在研究方向层面。想体验这条路线，现阶段能碰到的只有开源的同类架构，例如把 KV Cache 压到固定 72 MiB 的 EdgeRock-4B 这类工作，它们解决的是上下文成本，与睡眠范式的参数级持续学习不在同一个层面。

小结

谷歌这套方案的价值不在于刷新了某个榜单，而在于它把大模型的持续学习从一堆互不相干的技巧，收敛成了一条有明确时序的生命周期。清醒期接收并暂存，睡眠期分两步固化与自我改进，每一步都有对应的对照数字支撑。数学推理 79.2 分、事实吸收 48.9 分、长上下文 1000 万 Token 这三个数字里，第三个最抓眼，第一个最扎实，第二个最能说明做梦环节不可省。

它当然不是万能解。概念验证阶段、没有独立复现、1000 万 Token 只在单一基准上成立，写进参数的记忆如何被审计和撤回也没有答案。但把知识截止日这个问题拆成可执行的两个离线阶段，这件事本身已经比反复重训预训练更接近可用。

相关阅读

• 记忆原生大模型 MemT-1.0：288B 参数与 11 项记忆基准
• Mirendil Fern 0.1：1000 万 Token 上下文检索满分
• TokenGate：长上下文预填充提速 11.3 倍
• LEANN 向量索引：188GB 压到 4GB 与 2.48 秒代价
• EdgeRock-4B：72 MiB 固定 KV 与 AIME 82.9 分