LongCat-2.5 开源:1.6T 参数 MIT 协议,W4A4 量化怎么跑

美团 LongCat-2.5 的权重已在 11 月 9 日以 MIT 协议放出,商用推理与二次训练都不需要额外授权。1.6 万亿总参数里每 token 只激活约 480 亿,1M 上下文,支持 NPU 平台部署。它同时给了原版与 W4A4 量化两个 checkpoint,量化版在官方评测上基本不掉点。

换句话说,LongCat-2.5 现在是一个可以自己搬回机房的模型。判断它值不值得搬,看三件事:权重有多大、量化损失多少、跑分在什么位置。

权重到底有多大:3.5 TB 与两个 checkpoint

ModelScope 上 meituan-longcat/LongCat-2.5 仓库有 210 个 safetensors 分片,加起来 3562 GB。这个体量意味着单卡装不下,BF16 原版在生产里已经是多卡甚至多机分片的事。

官方同时提供了 LongCat-2.5-W4A4 仓库,它把专家权重与激活同时压到 4 bit,配合国产 AI 加速卡的原生 INT4 矩阵乘法单元执行计算。选型逻辑很直接:显存放得下原版就先跑原版做评测基线,放不下直接走 W4A4,官方在模型卡里写明已评测的下游任务表现与量化前保持相当。

项目 原版 checkpoint W4A4 checkpoint
权重体积 3562 GB(210 个 safetensors 分片) 约原版四分之一量级
总参数 1.6 万亿 1.6 万亿
每 token 激活 约 480 亿 约 480 亿
上下文窗口 1M tokens 1M tokens
权重精度 BF16 等高精度格式 权重与激活均为 4 bit
授权 MIT MIT
适用环境 算力充足,做评测基线或精调 显存与带宽受限的国产加速卡

激活比例值得单独算一遍。480 亿除以 1.6 万亿,单 token 走过的参数约占总量的 3%。这是 MoE 的设计意图,参数量堆出知识容量,稀疏激活把单次推理成本压住。这也是它和同规模稠密模型在推理账单上能拉开差距的原因。

架构:768 个路由专家与 MLA 注意力

config.json 里能看到具体结构。LongCat-2.5 的模型类型是 pro_v,38 层,隐藏维度 8192,注意力头 64,FFN 隐藏维度 12288。稀疏部分是 768 个 routed expert 加上 128 个 zero expert,moe_topk 取 12,routed_scaling_factor 设为 9。

注意力走的是 MLA 路线,kv_lora_rank 512、q_lora_rank 1536,配合 deepseek_yarn 的 rope_scaling,原始 8192 位置、factor 120,最终 max_position_embeddings 落到 524288。也就是说 1M 上下文靠的是 YaRN 外推,不是从头训练的长位置。

词表大小 163840,oe_vocab_size_ratio 100.567,oe_split_num 4,这套 OE 配置是多模态词表扩展那部分留下的痕迹。视觉侧 config 独立成块,patch_size 14、depth 32、hidden_size 1280,min_pixels 50176、max_pixels 3211264。

视觉信号没有外挂独立编码模块,而是对原生分辨率特征做残差向量量化,转成多层级离散 token,和文本一起交由主干处理,视觉码本与主干联合训练。视觉 token 支持离线预计算与缓存,这一点对多机部署很关键,重复推理时不必重算视觉分支。

量化版实测收益:prefill 快 43%,decode 快 42.8%

官方给了一组在线压测对比,基准是 W8A8 的 MoE 配置。

指标 W4A4 相对 W8A8
prefill 吞吐 +43.3%
decode 吞吐 +42.77%
首字延迟 TTFT -15.91%
每输出 token 时间 TPOT -19.72%
Grouped GEMM 加速比 平均 1.73 倍
W4A4KV8 对 W8A8KV16 的 decode 吞吐 +92%

实现上有两处工程细节值得记住。一是共享专家输入变换,让量化能发生在 token 复制与分发之前,同一份 INT4 表示在通信和计算两侧复用,避免量化后重复转换。二是把变换、缩放、量化、打包做成融合算子,再配合预填充与解码两套独立调优的流水线,减少数据搬运与通信开销。

训练侧也有对应数字。长序列 SFT 任务里,单卡吞吐比 DDP 基线提升 86%,靠的是超节点感知的并行策略、有效的分片方式,以及通信与计算重叠。推理侧 KV cache 优化与 LSA 之后,解码 KV 容量接近翻倍且 TPOT 没有上升。

跑分位置:代码 Agent 强项与短板

下面这些是官方模型卡的数字,标星的是引用公开技术报告或官方榜单,未标星是内部自测,仅供参考。

基准 LongCat-2.5 LongCat-2.0 Claude Opus 5 GPT-5.5 DeepSeek-V4.1-Flash
Terminal Bench v2.1 88.4 70.8 89.1 83.2 90.6
Terminal Bench v4.0 38.5 3.0 41.8 37.3 31.2
DeepSWE v1.1 64.6 69.7 68.8 72.7 74.2
NL2Repo 60.5 40.9 75.3 56.8 65.4
PaperBench 82.1 45.2 79.1 83.3 –
BrowseComp 91.9 79.9 90.8 84.4 91.5
HLE(带工具) 63.1 37.5 64.7 58.0 63.9
AutomationBench v1.0.6 51.8 15.8 50.3 39.7 54.8
3DCodeBench(文生 3D) 55.4 – 53.4 52.7 53.3
Vision2Web 78.6 – 80.2 74.6 79.2
VideoMME 85.2 – 90.0 89.5 –

结论挺清楚。相对前代 LongCat-2.0 是全面提升,Terminal Bench v4.0 从 3.0 跳到 38.5,PaperBench 从 45.2 到 82.1,多模态项目从空白补齐。放到横向对比里,代码类基准基本与第一梯队咬住,DeepSWE 和 NL2Repo 略低,视觉与 3D 生成还在追赶。Terminal Bench v4.0 的 38.5 与 Claude Opus 5 的 41.8 差 3.3 分,而同代国产基座里昇桥 AscendBridge 也做到了 1.6 万亿参数后训练,这两条路线的差距正在收窄。

评测条件值得留意。Terminal Bench 用 Claude Code harness(v2.1.280),max_seq_length 512K,v2.1 结果是三次独立运行取平均。DeepSWE v1.1 用 mini-swe-agent,max_seq_length 拉到 1M,同样三次平均。默认参数是 enable_thinking 开、temperature 1.0、top_p 0.95。

部署路径与调用方式

NPU 平台部署官方指向 SGLang-FluentLLM 的 longcat-2.5-npu 分支,有对应的 npu_test 目录和说明。模型支持思考模式与非思考模式双开,思考模式下建议保留 reasoning_content,官方给了完整的 Python 调用示例,走 OpenAI 兼容接口并通过 chat_template_kwargs 传 enable_thinking 与 save_history_reasoning_content 两个开关。

自建成本这块可以先算个大概。本地大模型显存怎么算那篇给了 8B 模型每 1K 上下文 144MB 的推导方法,1M 上下文套进 1.6T 规模的模型时权重本身就会吃掉全部预算,剩下的空间全留给 KV Cache。量化后单卡跑 4B 的具体量级可以看NVIDIA Dory 1.0 4B 四档算力实测。多模态与超长上下文的显存开销比纯文本更复杂,视觉 token 的离线预计算缓存能省掉一部分重复开销,但 1M 上下文的 KV Cache 仍是需要提前算进预算的大头。

如果暂时不打算自建权重,同一家的 LongCat-2.5-Preview 发布那篇已经把双协议接入方式讲清楚了,API 侧走 https://api.longcat.ai/openai 或 /anthropic,改 base_url 和模型名就能挂进 Codex、OpenClaw、Claude Code 这些现成工具链。

常见问题

LongCat-2.5 怎么本地部署,显存要多少?

原版权重 3562 GB,需要多卡分片,48GB 级别的消费级卡不可能单卡跑通。显存受限的环境直接选 W4A4 checkpoint,官方称已评测的下游任务表现与量化前相当。NPU 平台按 SGLang-FluentLLM 的 longcat-2.5-npu 分支走。

LongCat-2.5 和 LongCat-2.0 差在哪?

三个层面。视觉从 2.0 时代的独立仓库并入基座,走残差向量量化的离散 token 路线;长程能力靠更长的序列 SFT 与 RL 基础设施支撑,单卡吞吐比 DDP 基线高 86%;推理侧提供 W4A4 量化方案,prefill 与 decode 吞吐分别提升 43.3% 与 42.77%。

LongCat-2.5 能商用吗,需要额外授权吗?

模型权重以 MIT 协议发布,商用推理部署与二次训练都无需额外授权。该授权不包含美团商标与专利使用权。模型未针对所有下游场景做全面评测,敏感或高风险场景需要自行评估准确性、安全性与公平性。

小结

LongCat-2.5 开源的价值不在参数数字,而在它把三件事凑齐了:MIT 协议、W4A4 量化路径、以及 NPU 部署支持。对算力充足但受限于闭源授权的团队,这是可以自建的选项;对显存紧张的团队,量化版把 3.5 TB 的门槛压到了可接受的区间。代码 Agent 基准上它已经进入第一梯队行列,视觉与 3D 仍是短板。硬件选型与本地推理的实际开销,可以对照站内关于显存计算和低参数量模型实测的两篇看。