11 月 8 日，MarkTechPost 对 10 款主流开源 MoE 模型的路由配置做了横向比对，覆盖 DeepSeek-V4-Pro、Kimi K2、GLM-4.5、Qwen3-235B-A22B、Qwen3.6-35B-A3B、Llama 4 Maverick、Mixtral 8x7B、DeepSeek-V3、DeepSeek-V4-Flash 与 gpt-oss-120b，比对数据取自各家 Hugging Face 的 config.json、模型卡与技术报告。
差异集中在五个旋钮
这批模型都采用 token-choice 路由，每个 token 自己选专家，但差别几乎体现在每个细节上。Mixtral 8x7B 是 47B 总参数、13B 激活、8 个路由专家、top-2、无共享专家；DeepSeek-V4-Pro 为 1.6T 总参数、49B 激活、384 个专家、top-6、1 个共享专家；Kimi K2 是 1.04T 总参数、32B 激活、384 个专家、top-8、1 个共享专家。
稀疏度从 4 倍到 128 倍
路由稀疏度差异最大到 48 倍。Mixtral 的稀疏度是 4，Llama 4 Maverick 达到 128。Kimi K2 的实验显示，在同等验证损失下，稀疏度 48 所需的 FLOPs 比稀疏度 8 少 1.69 倍。激活参数与显存的关系可以参考 本地大模型显存怎么算。
配置透明度并不一致
DeepSeek-V3 用 Sigmoid 打分加无辅助损失偏置，DeepSeek-V4-Pro 与 V4-Flash 改用 sqrtsoftplus，并在 3 层里加入哈希路由。Llama 4 Maverick 与 gpt-oss-120b 没有在配置里公开门控方法或均衡策略，Qwen3.6-35B-A3B 也未公开打分方式。名字里写着激活参数的规模，实际路由器差别可能很大。
从配置表还能读出几组有意思的对照。gpt-oss-120b 是 117B 总参数、5.1B 激活、128 个专家、top-4，激活比例不到总参数的 5%；Qwen3-235B-A22B 则是 235B 总参数、22B 激活、128 个专家、top-8，激活比例接近 10%。同为 128 专家，路由策略不同，部署时的显存占用和推理速度会完全不同。
GLM-4.5 是 355B 总参数、32B 激活、160 个专家、top-8，使用无损失均衡路由。DeepSeek-V3 是 671B 总参数、37B 激活、256 个专家、top-8，共享专家 1 个。Qwen3.6-35B-A3B 总参数只有 35B，激活 3B，路由专家却有 256 个，是这批模型里密度最激进的一个。
部署侧的直接影响是显存估算不能再只看激活参数。DeepSeek-V4-Pro 需要多 GPU 专家并行，而 gpt-oss-120b 用 MXFP4 量化后能塞进单张 80 GB 显卡，这两条路线对硬件采购的含义完全不同。
延伸阅读
- 国家超算互联网调价：0.1 元 5000 万 Token 限时秒杀2 周前
- 天数智芯天垓300实机跑通：单卡吞吐达H200的1.05倍2 周前
- DeepInfer 开源：155 万亿 Token 集群与 38 美元每 GPU 小时2 周前
- DeepSeek V4.1 Flash-1017 上线：帕累托最优、API 零改动3 周前
继续读
同一批更新里这几篇值得一看：
- Claude Code 泄露数千密钥到 GitHub：配置规则未脱敏2026-11-10
- 谷歌开源大象金鱼插件：先写规格再让 9 个角色挑错2026-11-10
- 百图生科与 11 家伙伴启动 AI 生物计算：300 人香港峰会2026-11-08
想快速查定义？对应的词条在这里：
- DeepSeek词条 · AI 自学笔记