10月18日，调研机构SemiAnalysis发文称，英伟达通过一项上游vLLM优化，让2.8万亿参数量的Kimi K3模型在GB300 NVL72硬件上实现423 tok/s/user（每用户每秒处理Token数）的推理速度，相比此前提升1.68倍。该优化由英伟达CentML工程师Benjamin主导完成，是英伟达首次针对特定第三方模型公开披露的深度优化成果。
Megakernel融合：1.2万行Cute DSL代码的新解码内核
英伟达通过大规模Megakernel融合实现此次提速，使用Cute DSL编写了英伟达新推出的解码专用内核。该Megakernel包含1.2万行代码，将多个计算步骤合并为单一内核调用，大幅减少内存访问开销。这一成果被视为AI辅助生成高级计算内核的成功案例，展示了模型与底层硬件共同优化的工程路径。
Kimi K3：2.8万亿参数MoE架构，编码缓存命中率90%
Kimi K3由月之暗面发布，采用MoE（混合专家）架构，总参数达2.8万亿，编码缓存命中率达90%，在多项编程基准上领先。与传统稠密模型相比，MoE架构通过激活少量专家网络实现高效推理，但需要硬件和底层软件深度协同才能充分发挥性能。英伟达此次针对Kimi K3的优化，正是这种协同的典型案例。
英伟达：从硬件销售到软硬协同优化
英伟达同时在为vLLM开发DeepSeek V4.1等其他模型的优化，这表明头部芯片厂商正从单纯的硬件销售向「硬件+软件协同优化」转型。CentML团队的收购（英伟达2024年收购）使英伟达拥有了针对具体模型进行GPU内核深度调优的内部能力，这将成为AI基础设施竞争的新维度。
延伸阅读
- Kimi K2.8 Preview 全量上线 Kimi Code：1M 上下文全会员开放，综合性能直追 K31 月前
- 博通为OpenAI定制芯片项目融资5000亿美元：阿波罗黑石入局，算力军备竞赛进入新阶段2 周前
- 英伟达 Nemotron 3.5 Super VL：1200 亿参数开放权重3 天前
- 英伟达中国AI芯片份额跌至34%：IDC报告全解读5 天前
AI 自学笔记 每天更新 AI 前沿动态，订阅 RSS，或按 Ctrl/⌘+D 收藏本站，明天见。
继续读
同一批更新里这几篇值得一看：
- 250万雷亚尔英伟达RTX 5090显卡在巴西机场失踪，旗舰供应乱象持续2026-10-18
- 三星接受英伟达要求：台积电3nm代工HBM基底裸片，HBM4E标准化落地2026-10-18
- 中国拟封堵23项AI技术出口：开源权重、10^26 FLOPs训练受限2026-10-17