Kimi K3 技术报告深度解读：2.8 万亿参数 MoE 架构、100 万 token 上下文、90% 编码缓存命中率

4 hours ago AI笔记

Kimi K3 技术报告深度解读：2.8 万亿参数 MoE 架构、100 万 token 上下文、90% 编码缓存命中率

核心结论

月之暗面于 2026 年 7 月 27 日发布 Kimi K3 开放权重和技术报告，披露了这款 2.8 万亿参数混合专家模型的核心架构创新：Kimi Delta Attention（KDA）、Attention Residuals（AttnRes）、Quantile Balancing、Per-Head Muon、SiTU、Gated MLA 六项原创技术协同，实现相比 Kimi K2 约 2.5 倍的扩展效率提升。在编码领域 K3 与 Claude Fable 5 正面交锋，在芯片设计任务中实现 48 小时自主设计纳米级芯片。API 定价延续 Mooncake 架构优势，编码前缀缓存命中时仅 $0.30/百万 token，输出 $15/百万 token，超越主流竞品。

一、模型规格一览

参数项 数值
**总参数量** 2.8 万亿（2.8T）
**激活参数（单 token）** 约 175B（16/896 MoE）
**上下文窗口** 100 万 token
**专家总数** 896
**激活专家数** 每次 16
**权重精度** MXFP4
**激活精度** MXFP8
**推理推荐配置** 64+ 加速器超节点

二、六项架构创新深度解析

2.1 Kimi Delta Attention（KDA）

KDA 是 Kimi 团队专为长上下文注意力设计的改进机制。传统多头注意力（MLA）在处理超长序列时存在键值缓存（KV Cache）膨胀问题，KDA 通过将注意力计算分解为”共享基础注意力”加”增量修正”两部分，显著压缩了单 token 的 KV 缓存占用。

实测数据：K3 在 100 万 token 上下文下，KV Cache 占用相比 K2 减少约 60%，使得超长文档分析、多轮对话记忆等场景的推理成本大幅下降。

2.2 Attention Residuals（AttnRes）

AttnRes 解决的是传统深度网络”信息在多层传递中逐渐稀释”的问题。传统架构中，第 N 层的表示是对前 N-1 层信息的累积压缩，K3 允许模型在任意深度直接读取并修正早期层的表示，而非每次都从压缩后的版本重新开始。

实际效果：在需要跨文档检索的任务（如”对比 10 篇论文中的方法异同”）中，AttnRes 使模型能够直接访问早期上下文，减少了信息丢失和检索误差。

2.3 Quantile Balancing（专家分配分位数平衡）

传统 MoE 路由器通常使用 softmax 分数分配专家，问题是不同专家的分数分布差异大，导致某些专家被过度使用而另一些专家几乎不被激活。Quantile Balancing 的核心创新在于：直接根据路由器分数的分位数（quantile）而非绝对分数来分配专家，从而实现无需额外超参数调节的负载均衡。

结果：训练全程所有 896 个专家均被有效激活，没有出现传统 MoE 中常见的”赢者通吃”现象，专家利用率接近 100%，这是实现稳定扩展的关键。

2.4 Per-Head Muon

Muon 是一种近年来兴起的优化器变体，相比 AdamW 在某些任务上能实现更快收敛。K3 的创新在于将 Per-Head（每注意力头）独立应用 Muon 优化，允许不同注意力头以不同学习率更新，在超大规模下实现了更自适应的学习动态。

2.5 SiTU（Sigmoid Tanh Unit）

SiTU 是一种新型激活函数，融合了 Sigmoid 和 Tanh 的特性：在输入较小时近似线性，在输入较大时平滑饱和。相比 ReLU，SiTU 避免了”死神经元”问题；相比 GeLU，SiTU 在训练稳定性上表现更好。

2.6 Gated MLA

在标准多头潜在注意力（MLA）基础上，K3 增加了门控机制（Gate），让模型能够选择性地”遗忘”某些不重要的潜在向量，进一步压缩推理时的显存占用。

三、Stable LatentMoE：稳定的大规模 MoE 训练框架

896 个专家、每次激活 16 个的 MoE 架构，在训练稳定性上面临巨大挑战——专家数量大、负载不均、扩展到数千 GPU 时通信瓶颈等问题。

K3 团队采用了 Stable LatentMoE 框架，其核心包括：

– 静态拓扑并行：所有专家间的通信模式在训练前确定，避免动态通信带来的不确定性

– 量化感知的专家路由：在路由器分数计算时直接引入 MXFP4 量化感知，确保训练和推理精度一致

– 全balanced专家并行（EBP）：在扩展过程中保证所有专家的负载始终均衡

综合以上改进，K3 在 2.8T 参数规模下实现了相比 K2 约 2.5 倍的有效扩展效率，即在相同的计算资源下，K3 能达到 K2 2.5 倍的有效能力。

四、核心能力评测

4.1 编码能力：与 Claude Fable 5 正面对抗

K3 在多个编程子领域与 Claude Fable 5（Anthropic 顶级编程模型）展开正面比较：

任务类型 Kimi K3 表现 对比基准
**内核优化**（GPU kernel tuning） 与 Claude Fable 5 激烈竞争 Claude Fable 5（带fallback）
**GPU 编译器开发** MiniTriton 编译器性能持平或优于 Triton Triton（行业标准）
**芯片设计** 48 小时自主设计含 146 万标准单元、0.277MB SRAM 的纳米芯片 此前最佳记录：需数周
**游戏开发** 3D 推理+编码+视觉融合，概念图转可玩游戏 此前无模型能独立完成
**科研编程** 约 2 小时完成原本需要 1-2 周的工作 此前最佳 AI 辅助效率

尤其值得特别关注的是芯片设计案例：K3 在 48 小时内自主完成了纳米芯片的端到端设计，包含物理布局、时序约束、标准单元验证，刷新了 AI 辅助芯片设计的效率纪录。

4.2 知识工作：多智能体协同处理复杂任务

K3 的知识工作能力通过多智能体（Multi-Agent）架构实现，单次任务可调度 20+ 并发子代理：

– 金融行业研究：42 年 ASIC 行业发展历史研究网站，支持交互式数据查询

– 工业咨询：带时间线、漏斗图、范围条形图、甘特图的咨询级报告输出

– 引力波研究：分析 GWTC-5 引力波目录中 391 个事件，每事件调用 20+ 并发代理

4.3 视频编辑：3Blue1Brown 风格解释器

K3 结合视觉推理和视频编辑能力，从 56 个源片段自动编辑宣传视频，完成剪辑选择、运动匹配剪辑和帧精确节拍同步，生成 3Blue1Brown 风格的 motion graphics 解释视频。

五、API 定价与商业可行性

价格类型 Kimi K3 行业对比
**缓存命中输入** **$0.30/M token** 多数模型无前缀缓存
**缓存未命中输入** $3.00/M token GPT-6.1 Sol: $2/M（贵50%）
**输出** $15.00/M token Claude Opus 5.5: $20/M（贵33%）
**编码工作负载缓存命中率** **>90%** 业界领先

K3 的定价策略基于 Mooncake disaggregated inference 架构：该架构将前缀缓存层分离，使得编码等高前缀重复率工作负载的缓存命中率超过 90%。这意味着在实际编程辅助场景下，用户实际支付价格约为 $0.30 + $1.50（10% 未命中 × $15）= $1.80/M token，显著低于竞争对手。

六、模型局限与已知问题

K3 技术报告坦诚披露了模型的已知局限：

1. 对思考历史的敏感性：K3 以”保留思考历史”模式训练，如果 Agent 框架未能完整回传所有历史思考内容，生成质量可能出现剧烈波动。这意味着在构建基于 K3 的自动化代理时，框架设计必须格外注意回传完整性。

2. 过度主动性：模型在训练中强化了长时域挑战性任务的执行，遇到次要问题或用户意图模糊时，可能代替用户做出意外决定。实际部署时需要添加额外的意图澄清步骤。

3. 与顶级闭源模型的体验差距：报告坦承，尽管在多项基准测试上与 Claude Fable 5 和 GPT-5.6 Sol 相当，但综合用户体验仍有明显差距。基准分数和用户体验之间存在”最后一公里”问题。

FAQ

Q：K3 的 2.8T 参数和 K2 相比有什么变化？

A：K3 总参数量为 2.8 万亿，相比 K2 的 2.0 万亿增加了 40%。但由于架构效率提升（2.5 倍扩展效率），K3 在大多数任务上的实际能力提升远超 40% 的参数量增幅。

Q：K3 的 MXFP4 量化是什么意思，对用户有什么影响？

A：MXFP4 是 4 位浮点量化，K3 在推理时将权重压缩为 4 位精度存储，大幅降低显存占用和计算成本。这是实现 100 万 token 上下文且在合理硬件成本下运行的关键技术。模型供应商在部署时已经过精度校准，用户无需关心底层实现。

Q：编码缓存命中率 90% 意味着什么？

A：当你用 K3 做编程辅助时，由于代码文件有大量重复的前缀结构（import、函数定义等），K3 的 Mooncake 架构可以自动识别并缓存这些前缀。90% 缓存命中率意味着实际费用只有原来的约 1/10，大幅降低了 AI 编程的边际成本。

Q：K3 和 Kimi K3 Max 是什么关系？

A：K3 是开放权重版本（可在本地部署），K3 Max 是月之暗面官方 API 服务的高端版本，Max 通常配置了更高的”思考努力”，在复杂任务上能力更强。

相关阅读

延伸阅读

AI 自学笔记 每天更新 AI 前沿动态，订阅 RSS，或按 Ctrl/⌘+D 收藏本站，明天见。

Related News