LongCat-2.5 怎么部署:1.6 万亿参数与 480 亿激活

一句话结论:美团 LongCat-2.5 是 1.6 万亿总参数、每 token 激活约 480 亿的原生多模态 MoE 模型,权重分 bf16 与 W4A4 两版发布,W4A4 版本在昇腾上把预填充吞吐提了 43.3%,整模型在 Terminal Bench v2.1 拿到 88.4 分,比自家 2.0 版本的 70.8 分高出 17.6 分。

国产大模型的开源节奏在 2026 年下半年明显加快,但真正把权重完整放出来、还附带可复现的评测表和量化对照数据的并不多。11 月 16 日,美团 LongCat 团队把 LongCat-2.5 的模型权重放出,这是该模型正式发布后一周的动作。这个模型的特点集中在三点上:原生多模态、长程智能体训练、以及一套针对国产芯片的 W4A4 量化方案。本文按官方模型卡与配置文件逐项拆解,并把它的成绩单放到当前主流模型的横向坐标里看。

一、1.6 万亿参数里有多少是真在用的

先看模型结构。从公开的 config.json 读出来,这是一套典型的 DeepSeek 系 MLA 加 MoE 架构。38 层 Transformer,隐藏维度 8192,注意力头 64 个,FFN 维度 12288,专家 FFN 维度 2048。稀疏部分用了 768 个路由专家,每个 token 走 top-12 路由,同时挂着 128 个恒等身份的零专家用来占位,总共 38 层里的前若干层保持稠密。

MLA 相关的低秩配置是 kv_lora_rank 512、q_lora_rank 1536,qk_rope_head_dim 64、v_head_dim 128、qk_nope_head_dim 128,配合 deepseek_yarn 类型的 rope_scaling,原始位置嵌入 8192 配 factor 120,理论上支持 52.4 万 token 的上下文窗口。视觉侧挂了一个 32 层、隐藏维度 1280 的编码器,patch_size 14、merge_size 2,图像 token 化后与文本共享语义空间,多模态部分还配了 3 层 MTP 多 token 预测头。

官方给出的口径是总参数 1.6 万亿,每 token 激活约 480 亿。落到具体配置上,路由专家 768 选 12,加上共享专家和注意力部分,激活比例落在 3% 上下。这个激活比例决定了它的部署形态:权重规模是万亿级,但单次推理的计算量只有几百亿,典型的稀疏 MoE 特征。

把关键配置项整理成表:

配置项 取值 含义
num_layers 38 Transformer 层数
hidden_size 8192 隐藏维度
num_attention_heads 64 注意力头数
n_routed_experts 768 路由专家总数
moe_topk 12 每 token 激活专家数
zero_expert_num 128 恒等零专家数量
max_position_embeddings 524288 上下文上限 52.4 万 token
vocab_size 163840 词表规模
kv_lora_rank / q_lora_rank 512 / 1536 MLA 低秩压缩维度
mtp_num_layers 3 多 token 预测头层数
attention_method MLA 注意力实现方式

二、权重到底有多大,两个版本的差别

模型仓库里同时挂了两套权重,文件切分方式一样,都是 208 个主分片加一组多模态投影分片。体积差别非常直观:

版本 分片数 权重总体积 单分片典型大小 数值格式
LongCat-2.5 210 个 safetensors 约 3562 GB 17.1 GB / 17.2 GB bf16 全精度
LongCat-2.5-W4A4 210 个 safetensors 约 1336 GB 8.3 GB / 4.3 GB 专家权重与激活 4bit

体积比大约 2.67 倍,和 4bit 相对 16bit 的理论压缩比 4 倍之间有差距,多出来的是没被量化的部分,比如注意力权重、嵌入层和多模态编码器。

W4A4 的做法值得单独说一句。官方描述采用 FlatQuant 风格的可学习变换,让量化后的模型在评测集上保持与未量化版本相当的精度。一个设计细节是共享专家输入变换,让量化可以发生在 token 复制与分发之前,同一份 INT4 表示能在通信和计算两侧复用,从而减少数据搬运和通信开销。

真正能拿来用的对比数据是官方给的在线压测结果,以 W8A8 MoE 为基线:

指标 W4A4 相对 W8A8 的变化
预填充吞吐 提升 43.3%
解码吞吐 提升 42.77%
首 token 延迟 TTFT 降低 15.91%
每输出 token 延迟 TPOT 降低 19.72%
Grouped GEMM 内核 平均 1.73 倍加速
W4A4KV8 对 W8A8KV16 解码吞吐 提升 92%

最后一行是 KV cache 也量化到 8bit 的组合效果。4bit 权重配 8bit KV cache,解码吞吐比 8bit 权重配 16bit KV cache 高出 92%,而且不增加单 token 延迟。这一条对长上下文场景最值钱,因为 KV cache 占用直接决定能开多大的 batch。

三、多模态与长程智能体:训练侧做了什么

视觉部分没有采用外挂编码器的做法。官方说 LongCat-2.5 建立在 LongCat-Next 基础上,把原生分辨率的视觉特征转换成离散 token,与文本在同一个语义空间里对齐。config 里能看到图像侧的像素范围从 50176 到 3211264,视频侧从 100352 到 150528,视频按 1fps 解码、最多 128 帧,帧模式标记为 <frame><TIMEIDX>。

长程智能体的训练方式是这套模型最有辨识度的部分。强化学习阶段用的任务直接取自 GitHub 上真实的 pull request,同时额外复现了智能体执行失败的样本来训练。为了确认模型真的把任务做完、没走捷径,开发者会在训练环境里切断联网、移除 Git 历史和缓存文件,再由语言模型检查解法有没有用到取巧路径。

多教师学习方面,智能体、推理、交互三类教师通过全词表 KL 蒸馏和 Tree Attention 来引导模型,强化多轮执行、推理、指令遵循和安全能力。基础设施侧的成绩是长序列 SFT 任务上单设备吞吐比 DDP 基线高 86%,用的是 Supernode 感知的并行、高效分片和通信计算重叠。

四、成绩单:放到横向坐标里看

官方评测表覆盖代码智能体、通用智能体、视觉三组,每项都给了 LongCat-2.0 和七个外部模型的对照值,带星号的是引自公开技术报告或官方榜单的数字,未标星的是内部实测。

代码智能体这一组,LongCat-2.5 的表现和头部模型基本在同一档:

基准 LongCat-2.5 LongCat-2.0 GPT-5.5 GPT-5.6-Sol Claude Opus 5 GLM-5.3 Kimi K3 DeepSeek-V4.1-Flash
Terminal Bench v2.1 88.4 70.8 83.2 88.8 89.1 88.2 88.3 90.6
Terminal Bench v4.0 38.5 3.0 – 37.3 53.9 41.8 12.6 31.2
Program Bench 25.5 2.5 13.5 23.0 37.0 19.0 17.5 20.3
DeepSWE v1.1 64.6 9.7 67.0 72.7 68.8 66.9 67.5 74.2
PaperBench 82.1 45.2 80.0 83.3 79.1 73.7 77.5 –
NL2Repo 60.5 40.9 – 56.8 75.3 58.0 58.0 65.4
SWE Atlas 重构 55.2 35.7 44.8 – 51.9 – 49.5 56.7

通用智能体组的情况:

基准 LongCat-2.5 LongCat-2.0 GPT-5.5 GPT-5.6-Sol Claude Opus 5 GLM-5.3 Kimi K3 DeepSeek-V4.1-Flash
BrowseComp 91.9 79.9 84.4 90.4 90.8 81.0 91.2 91.5
AutomationBench v1.0.6 51.8 15.8 39.7 45.8 50.3 48.2 46.7 54.8
HLE(带工具) 63.1 37.5 52.2 58.0 64.7 62.5 56.0 63.9
MCP Atlas 83.1 61.8 75.3 81.8 85.8 84.2 84.2 84.4
JobBench 65.4 44.4 38.3 45.4 48.4 66.7 61.4 63.2
SpreadsheetBench 2 34.9 24.1 30.2 33.3 – 33.0 35.8 33.0
FrontierScience 77.0 66.0 – – – 78.0 75.0 73.0

读这张表有几个值得留意的点。Terminal Bench v2.1 上 88.4 分,与 Claude Opus 5 的 89.1、DeepSeek-V4.1-Flash 的 90.6 差距在两个点以内。但到了 v4.0 这个更新更严的版本,分化明显:LongCat-2.5 得 38.5 分,Claude Opus 5 是 53.9,Kimi K3 只有 12.6。从 2.0 到 2.5,Terminal Bench v4.0 上的提升是 3.0 到 38.5,幅度最大。

通用智能体组的 AutomationBench 提升同样显著,从 15.8 到 51.8,这个基准考的就是长流程自动化的可靠性,和它用真实 pull request 做强化学习的思路对得上。而 SpreadsheetBench 2 只有 34.9,落后 GLM-5.3 的 35.8 和 Kimi K3 的 34.8 一点点,说明表格类精细操作仍是短板。

视觉组的相对位置要弱一些。3DCodeBench 55.4,落后 Claude Opus 5 的 54.3 之上的水平但优于 GPT-5.5 的 51.9;Vision2Web 78.6,低于 Claude Opus 5 的 80.2 和 Kimi K3 的 79.0;MathVision 96.5 则是全场最高之一。

评测条件也值得记一下。所有 LongCat-2.5 结果默认开启思考模式,temperature 1.0、top_p 0.95。代码类用 Claude Code harness(v2.1.280),最大序列长度 512K,Terminal Bench v2.1 的结果是三次独立运行的平均。DeepSWE v1.1 用 mini-swe-agent,最大序列长度 1M。MCP Atlas 推理强度设为 max、temperature 0.7、上下文 256K。JobBench 用 gemini-3.6-flash 作为裁判。这些细节会直接影响你拿自己的项目复现时的对标结果。

五、怎么用起来:思考模式与工具调用

模型支持思考和非思考两种模式,通过 chat_template_kwargs 里的 enable_thinking 开关切换。开启思考模式并带上 save_history_reasoning_content=True 可以保留完整的推理内容,官方说这样效果更好。关闭思考模式则更省 token。

接口是 OpenAI 兼容格式,直接用 openai 客户端调用,图片以 image_url 形式传入,多模态和工具调用可以在同一个请求里混用。官方给的示例就演示了一个完整流程:用户传图,模型识别出书名、版本、出版社,调用 get_book_price 工具拿到价格(返回值是 US $19.09,标注为 eBay 渠道),然后组织成自然语言回答。整个链路的 reasoning_content 字段都会保留。

部署侧的路径是 NPU 平台,官方指向 SGLang-FluentLLM 的 longcat-2.5-npu 分支下的部署文档。集群规模的官方建议是 194 张华为昇腾 Atlas A2,其中 2 张做图像处理、64 张处理提示、128 张负责生成。整个流程没有使用英伟达 GPU,训练全程跑在国产加速器上。

1.3 TB 的量化权重意味着单卡跑不动。想在本地复现,最低门槛是把这套集群准备好,或者走官方 API。想了解其他开源模型的本地部署门槛差多少,可以对照 OVH Olala mini 7A1B 的 8GB 显存方案和 Kimi K3 的纯 CPU 方案;量化档位怎么选可以看 GGUF 那一篇的实测。

常见问题

LongCat-2.5 和 LongCat-2.0 的差距主要在哪

最明显的是长程智能体和代码智能体。AutomationBench 从 15.8 涨到 51.8,Terminal Bench v4.0 从 3.0 涨到 38.5,PaperBench 从 45.2 到 82.1。多模态是 2.5 新增的能力,2.0 在视觉基准上没有成绩。纯文本知识类的提升相对温和,BrowseComp 从 79.9 到 91.9 已经接近饱和。

W4A4 量化会不会明显掉精度

官方口径是在评测基准上与未量化版本保持相当精度。具体依据是 FlatQuant 风格的可学习变换加上共享专家输入变换,量化在 token 复制分发之前完成,让同一份 INT4 表示能复用。实测数据方面,W4A4 相对 W8A8 预填充吞吐提升 43.3%、解码提升 42.77%、TTFT 降 15.91%、TPOT 降 19.72%,精度持平的说法与这些吞吐数字来自同一份在线压测报告,但表格里的基准分本身是未量化版本跑出的。

普通开发者怎么用上这个模型

三条路径。第一条是走 API,接口兼容 OpenAI 格式,直接改 base_url 和 model 名称即可,图片和多模态工具调用都能用。第二条是 NPU 部署,按官方 SGLang-FluentLLM 的分支文档准备昇腾集群,W4A4 版本量化后仍需要 1.3 TB 存储和相应的加速卡。第三条是先在网页版试用,长文本和图像输入都可以直接测试,用来判断它在自己的任务上是否比现有模型更合适。

它和 DeepSeek-V4.1-Flash 怎么选

两者互有胜负。代码和深度检索上 DeepSeek-V4.1-Flash 略强,Terminal Bench v2.1 是 90.6 对 88.4,DeepSWE 是 74.2 对 64.6。LongCat-2.5 的优势在 Terminal Bench v4.0 这类更新的严苛基准上是 38.5 对 31.2,视觉侧 MathVision 96.5 对 97.4 略低但 3DCodeBench 55.4 对 53.3 略高。如果要做原生多模态或者需要 W4A4 这类国产芯片量化方案,LongCat-2.5 目前是更完整的选择。

小结

LongCat-2.5 的价值不在于把某个单项分数刷到最高,而在于三件事同时成立。总参数 1.6 万亿、激活 480 亿的稀疏结构让它能塞进百卡级别的昇腾集群;W4A4 加 W4A4KV8 的量化组合让国产芯片上的吞吐优势是可测的;基于真实 pull request 和失败样本的强化学习,让它在长流程自动化这类实际工程任务上有可迁移的能力。

相比一个月前国产开源模型集中在中小尺寸、只能在单卡上跑的局面,万亿级原生多模态模型带着完整权重和可复现评测开源,把个人和中小团队的部署门槛又往下压了一层。选型时可以拿这里的基准表和自己的任务对照着看,尤其注意 v2.1 和 v4.0 两个版本 Terminal Bench 的差距,那才是更接近真实工程难度的信号。

全部文章归档与模型专题