美团龙猫 LongCat-2.5 开源:1.6 万亿参数 100 万上下文

11 月 9 日,美团宣布开源面向长程智能体任务的原生多模态模型 LongCat-2.5,总参数 1.6 万亿,每个 token 激活约 480 亿参数,支持 100 万上下文,采用 MIT 协议,允许商用推理部署与二次训练而无需额外授权。这个模型 11 月 2 日就已发布,此番开放的是权重与完整训练方法。LongCat-2.5 Preview 深度一文此前已拆过它的多模态路线,这次补上开源后的实际可用边界。

从 480 亿激活到 100 万上下文

LongCat-2.5 走的是稀疏激活路线,1.6 万亿的总参数摊到每个 token 只激活约 480 亿,密度远低于同规模的稠密模型。官方给出的目标场景是复杂代码库开发、完整项目构建、Visual Coding 与专业办公,端到端交付能力是主指标,而不是聊天基准分。100 万上下文的定位也很明确,针对的是长程智能体任务里读仓库、读文档、读多轮产物的连续上下文压力。

视觉信号进了主干,不再外挂模块

这次最实质的改动在视觉侧。模型把视觉信号表示为多层级离散 token,与文本一样交由主干统一处理,而不是外挂视觉编码模块。具体做法是对原生分辨率视觉特征做残差向量量化,逐级补足细节;视觉 token 可以离线预计算并缓存,减少在线计算量,也让分布式训练负载更均衡;视觉码本与主干联合训练,视觉与文本共享同一套主干参数,在同一语义空间里协同完成视觉理解与代码生成。官方演示的创意设计与 3D 任务表现就来自这套改造。

为国产算力做的两处适配

针对显存与带宽受限的国产 AI 芯片,团队在模型架构、芯片适配与部署策略上做了协同优化,推理侧采用 W4A4 方案,把专家权重与激活同时量化到 4 bit,并通过原生 INT4 矩阵乘法单元执行计算。权重已经放到 Hugging Face,技术博客与 API 平台同步开放,商用门槛只剩显存够不够这一件事。对想自建长程智能体的团队来说,MIT 协议加上 4 bit 推理这两点,比参数量更值得看。