prefix="og: https://ogp.me/ns#"> DeepSeek 开源推理框架 DeepInfer：GPU 占用减 35%、成本降 28% | AI自学笔记

DeepSeek 开源推理框架 DeepInfer：GPU 占用减 35%、成本降 28%

1 hours ago AI笔记

10 月 20 日，DeepSeek 宣布将内部推理框架 DeepInfer 全面开源。这是继系列大模型、TileLang 编译工具与推理算子库之后，DeepSeek 首次将其核心技术层对外开放，也是目前开源社区中少数能够同时覆盖动态批处理、KV Cache 管理、算子融合与分布式并行的完整推理框架。官方数据显示，接入 DeepInfer 后同等规模模型服务的 GPU 显存占用可减少约 35%，单 token 成本下降约 28%。

DeepInfer 解决的是什么问题

大模型的训练决定了能力上限，但推理成本才决定它能否真正大规模部署。当一个模型需要同时响应数十万并发请求时，如何高效调度算力、如何减少显存碎片、如何让 GPU 算子不出现空闲等待——这些工程问题往往比模型本身更难解决，也是中小团队跑不起大模型的关键原因。

DeepInfer 的定位是「中间层基础设施」：它负责在模型层之下，将每一次请求映射到最优的硬件执行路径。具体来说，它包含四大核心模块：

  • 动态批处理（Dynamic Batching）：将不同长度的请求打包成批次执行，避免 GPU 空转，吞吐提升约 3 倍。
  • KV Cache 分级管理：根据访问频率将热点 KV 缓存放置于 HBM 或 DRAM，显存占用降低 35%。
  • 算子融合（Operator Fusion）：将多个小算子合并为单个 CUDA 内核执行，减少显存读写次数。
  • 分布式并行策略：支持张量并行与流水线并行，可扩展至千卡集群。

性能实测：对比主流推理框架

DeepSeek 官方披露了在 H800 集群上的对比测试数据（输入 512 token、输出 256 token、bs=32）：

框架 吞吐（token/s） GPU 显存（GB） 首 token 延迟（ms）
vLLM 0.4 1,240 42.8 18.3
TensorRT-LLM 1,580 38.5 15.1
DeepInfer（接入 DeepSeek-V4.1） 2,160 27.9 11.7

从数据来看，DeepInfer 在吞吐上领先 TensorRT-LLM 约 36%，显存占用减少约 27%，首 token 延迟缩短约 22%。值得注意的是，该对比基于 DeepSeek-V4.1 模型，DeepInfer 针对 MoE 架构做了专项优化，换用其他模型时数据会有所差异。

开源策略与生态定位

DeepInfer 采用 Apache 2.0 许可证，代码托管于 GitHub。与 DeepSeek 系列模型配套使用时效果最佳，但同时也支持接入 Llama、Qwen、Mistral 等主流开源模型。DeepSeek 表示，开源的目的是推动「AI 普惠」——当推理成本持续下降，更多独立开发者与中小团队也能以合理价格部署大模型服务，而非只有资金充足的大厂才能跑得动。

从竞争格局来看，2026 年推理成本已是各公司竞争的核心战场：OpenAI 靠自研推理芯片降低单次调用成本，Anthropic 靠稀疏注意力机制，Google 靠 TPUv5 定制硬件。DeepSeek 的解法是「软件优先」——不依赖特定硬件，通过框架层优化实现成本压缩。这与其一贯坚持的「高性能 + 低成本」开源路线一脉相承。

安装与基本用法

DeepInfer 支持 pip 一键安装，官方推荐 Python 3.10+、CUDA 12.1+ 环境：

pip install deepinfer
deepinfer serve --model deepseek-ai/DeepSeek-V4.1-Flash --port 8000

接入已有 vLLM 或 TRT-LLM 项目时，DeepInfer 提供了兼容层，只需修改两行配置即可切换推理后端，降低了迁移成本。

适用场景与局限

DeepInfer 最适合以下场景：需要低成本部署 DeepSeek 全系列模型的团队、有一定 GPU 集群规模（8 卡以上）的 AI 应用公司、以及希望将开源模型商业化的中间层服务商。对于单卡或小规模部署场景，vLLM 的开箱即用体验可能更友好。此外，DeepInfer 目前对多模态模型的支持仍在完善中，图像与语音模型的推理优化将在下一个版本中加入。

FAQ

DeepInfer 与 vLLM、TensorRT-LLM 相比，优势在哪里？
主要优势体现在显存占用与成本效率上。DeepInfer 针对 MoE 架构的稀疏激活特性做了专项优化，在同等硬件下可承载更高并发。但对于Dense模型，TensorRT-LLM 在部分场景下仍有优势。

DeepInfer 支持哪些模型？
官方支持 DeepSeek 全系列（含 V4.1、V4、V3.2、R1），同时兼容 Llama 3/4、Qwen 3、Mistral 等主流开源模型。非 MoE 模型需要通过兼容层调用，优化效果略有下降。

企业商用是否需要付费？
Apache 2.0 许可证允许商用，且无专利限制。DeepInfer 本身免费，但运行它所需的 GPU 算力按自选云厂商定价。

延伸阅读

AI 自学笔记 每天更新 AI 前沿动态，订阅 RSS，或按 Ctrl/⌘+D 收藏本站，明天见。

继续读

同一批更新里这几篇值得一看：

想快速查定义？对应的词条在这里：

Related News