prefix="og: https://ogp.me/ns#"> DeepSeek 开源推理框架 DeepInfer:GPU 占用减 35%、成本降 28%|AI自学笔记

DeepSeek 开源推理框架 DeepInfer:GPU 占用减 35%、成本降 28%

10月20日,DeepSeek 在已陆续开源系列大模型、TileLang 编译工具与推理算子库之后,宣布把自家内部推理框架 DeepInfer 全面开源。这家公司的逻辑是:大模型的能力上限由模型本身划定,但如何以合理成本撑起超大规模的模型服务,真正取决于推理框架。

训练让模型学有所成,推理让它为人所用

DeepInfer 定位是「中间层基础设施」——当海量用户同时调用时,它负责统筹调度庞大的算力集群,负责动态批处理、KV Cache 管理、算子融合与分布式并行。DeepSeek 援引内部数据称,通过 DeepInfer 的优化,同样规模的模型服务,GPU 占用可减少约 35%,单位 token 成本下降约 28%。

开源策略:透明 + 社区共建

DeepInfer 采用 Apache 2.0 许可证,代码已上传 GitHub。与 DeepSeek 系列模型配套使用效果最佳,但也支持与 Llama、Qwen 等主流开源模型对接。DeepSeek 表示,开源的目的是推动「AI 普惠」——当推理成本持续下降,更多开发者可以用合理价格调用大模型能力,而非只有资金充足的大厂才能跑得动。

推理成本战争:DeepInfer 入局

大模型推理成本是 2026 年各公司竞争的关键战场。OpenAI 靠批量采购 GPU 和自研推理芯片降低单次调用成本,Anthropic 靠稀疏注意力机制,Google 靠 TPUv5 定制硬件。DeepSeek 的解法是「软件优先」——不依赖特定硬件,通过框架层优化实现成本压缩。DeepInfer 开源后,中小开发者可以直接复用其优化策略,以更低的成本跑起大规模模型服务。这与 DeepSeek 一贯坚持的「高性能 + 低成本」开源路线一脉相承。