10 月 29 日，DeepSeek 在 GitHub 上开源了新项目 DeepInfer，这次没有发布新模型，放出来的是 DeepSeek-V4.1-Flash 背后的推理引擎，包含 MoE 专家并行、异步 Batch 调度、定制 Kernel 和推测解码等核心技术。官方同时披露了一组数字：单个集群每天需要处理约 155 万亿个 Token。这个量级下，GPU 每轮计算中浪费一点资源，累积起来都相当可观。
零开销批调度抹掉的等待
推理引擎里最值得看的是一套叫 Zero-Overhead Batch Scheduler 的异步调度机制。它解决的是一个很具体的浪费：GPU 明明已经算完了，却要停下来等 CPU 整理上一轮生成结果、更新请求状态，再安排下一轮工作。对于需要连续生成几千个 Token 的请求，这种短暂等待会反复发生。
DeepInfer 让 CPU 提前一轮安排计算，把原本串行执行的调度和模型前向重叠起来。实现上用 WorkerStepState 保存跨轮次执行状态，包括 SequenceMetadata、SchedulerOutputs、SamplerOutput 以及 Forward 和 Sampling 对应的 CUDA Event。上一轮的结果可以暂时保留，CPU 不必等它全部完成后处理，就能继续推进后续调度。流水线的启动和收尾由 Flush 机制处理，确保最后一批计算完成后请求状态能正常收尾。
推测解码带来的状态错位
CPU 提前安排下一轮时，上一轮的采样结果可能还没确定。普通自回归解码通常只推进一个 Token，开启推测解码后一条请求可能连续接受多个候选，不同序列的实际推进长度也会出现差异。假设某请求已缓存 1000 个 Token，本轮可能接受 3 个候选，直接用旧长度组织计算，Query Length、Key Length 和 RoPE 位置就可能偏移。
DeepInfer 为此维护 total_inflight_tokens，记录已下发但尚未完成结果提交的 Token，调度器分配资源时把这部分在途计算纳入序列长度与 KV Cache 容量检查，并提前预留缓存空间。目前开放的是离线推理能力，线上 KV Cache 存储和跨副本负载均衡等组件尚未完整公开。
把推理引擎本身开源，意味着大模型竞争又从权重下探到调度层。这类不产生新榜单成绩、却直接决定单位算力吞吐的工作，往往是大模型落地阶段最缺的那块拼图。FlashMap 用投机解码把 Qwen3-8B 加速 6.14 倍也走的是同一条路线。
延伸阅读
- 阿里巴巴云栖大会：Qwen 4 训练中，真武V900 芯片 3 倍算力、50 万卡集群3 周前
- Spotify一年移除超5000万首AI垃圾曲目：音乐流媒体平台如何打赢内容治理战1 周前
- AI benchmarks 2026：MMLU 退役，ARC-AGI-3 接棒1 月前
- 腾讯混元 Hy4 preview 发布：770B 参数、1M 上下文，开源阵营再添狠角色2 月前
继续读
同一批更新里这几篇值得一看：
- DeepSeek 月之暗面蒸馏转向 GPT-6 Astra：涉 Kimi K3.1 Pro2026-10-30
- DeepSeek V5代码库占位：V5-open与V5-next通道已就绪2026-10-28
- DeepSeek 周调用 33.6 万亿 Token 登顶全球第一2026-10-28
想快速查定义？对应的词条在这里：
- DeepSeek词条 · AI 自学笔记