斯坦福开源Memorilla：16个token压缩文档省108倍|AI自学笔记

11 月 14 日消息，斯坦福研究团队开源了记忆系统 Memorilla，这是一个给冻结大模型外挂记忆的模块，可以把整个文档集合压缩成 16 个记忆 token 注入 Qwen3-8B。官方给出的数据是 FactKG 上达到 84.33%，比直接塞进上下文的做法少用 108 倍文档 token。

用 16 个 token 装下一批文档

常规做法是把文档原文塞进上下文，代价随文档量线性上升。Memorilla 的思路是把文档集合先做压缩，压缩结果是 16 个记忆 token，再把这个向量化的记忆挂到冻结模型上，模型本身不需要重新训练。108 倍的 token 节省比意味着在同样的上下文预算下能覆盖多得多的原始资料。

这条路线和把模型上下文窗口一路做大的做法不同，比较接近让模型学一个隐式的记忆读写接口。类似把记忆当成独立能力来评测的思路，可以参考谷歌大象金鱼模型 EGM一文里对记忆保真度的处理方式。

FactKG 是评估模型对事实型知识保持能力的一类基准，Memorilla 给出的 84.33% 是在这套任务上用压缩记忆取得的成绩。对照组是直接把同样的文档塞进上下文，官方强调差别不在准确率而在 token 消耗比，一个数量级的差距在长文档场景里会直接决定能否落地。

选 Qwen3-8B 这类冻结模型作为底座，意味着接入方不用承担重新训练的成本，记忆模块本身才是需要评估的部分。对要给自己的模型加长期记忆能力的团队来说，开源实现比从零做一套压缩管线要省事得多。

AI 自学笔记 每天更新 AI 前沿动态，订阅 RSS，或按 Ctrl/⌘+D 收藏本站，明天见。

往下这几篇值得接着看：

想快速查定义？对应的词条在这里：