10月20日,上海记忆张量团队正式发布并开源记忆原生大模型MemT-1.0系列。与传统大模型每次对话从零开始不同,MemT-1.0将可持续存在、能够更新的内部记忆纳入模型计算,让历史信息与任务经验在后续相关任务中被直接调用,无需再次提供原始历史文本。
架构创新:记忆注意力与混合存储路由
此次开源包含两款模型:MemT-1.0-Flash(288B参数)与MemT-1.0-Nano(36B参数)。研发团队在选定的Transformer模块中引入原生记忆模块,使原有注意力与记忆注意力并行运行,记忆成为模型前向传播的一部分。架构创新体现在三方面:
一是基于Gated DeltaNet-2的逐token稳定更新机制,在每轮交互结束后通过擦除、写入与遗忘,将新信息融入已有记忆;二是引入Mixture-of-Storage(MoS)混合存储扩容,将记忆模块扩展为多个记忆专家并采用稠密路由;三是通过持续预训练与后训练两阶段训练,使模型具备基于记忆完成任务的能力。
评测结果:11项记忆基准第一,记忆调用意图写入可提成功率
评测结果显示,在11项记忆基准上,MemT-1.0-Flash与MemT-1.0-Nano的平均得分分别为50.6与47.0,位列本次评估的参数化记忆方法第一、第二。在编程智能体实测中,由执行框架在关键断点触发经验写入时,Nano在SWE bench Verified的500项任务上平均成功率从66.07%提高至69.73%,三次全部成功的任务比例由54.00%提高至62.80%。
在长历史场景下,Nano相比完整上下文方式实现约1.86倍(128K历史)与3.99倍(256K历史)的端到端推理速度提升,持久化记忆状态约为其1/66。业内分析认为,记忆原生为持续学习与递归自我改进提供了基础,有望推动大模型从「会推理」走向「会积累、会成长」。
目前MemT-1.0系列已通过Hugging Face等平台开源,开发者可免费获取模型权重。研发团队表示,下一步将持续提升长期记忆能力并扩展记忆容量。
延伸阅读
- Otter.ai完成3.2亿美元融资:估值跻身独角兽,10000家企业客户1 小时前
- OpenXR 标准新增「空间容器」特性:XR 头显多任务时代到来,体验对标苹果 visionOS3 小时前
- X平台改用AI推荐算法:完读率成核心权重,长文内容获更多曝光3 小时前
- OpenAI 与 Meta 齐声警告:深度伪造严重威胁法律诉讼证据可靠性3 小时前
继续读
同一批更新里这几篇值得一看:
- Otter.ai完成3.2亿美元融资:估值跻身独角兽,10000家企业客户2026-10-20
- OpenXR 标准新增「空间容器」特性:XR 头显多任务时代到来,体验对标苹果 visionOS2026-10-20
- X平台改用AI推荐算法:完读率成核心权重,长文内容获更多曝光2026-10-20
