一句话结论
商汤大装置在临港 AIDC 用 PD 分离的异构推理架构撑起日均 6 万亿 Token 的服务量，同等数量高端旗舰卡条件下整体 Token 吞吐提升到原来的 5 倍，Agentic 时代的算力竞争从买多少卡转向每张卡能产出多少有效 Token。
推理支出正在吃掉 AI 基础设施的大头
10 月 16 日，第十届 CSDI Summit 中国软件研发智能创新科技峰会在深圳举行。商汤大装置副总裁、CTO 宣善明在主论坛做了题为《Agentic 时代 AI 基础设施实践与趋势》的演讲，给出的第一个判断是需求结构变了。
对话式问答只需要一次模型调用，而单 Agent 工具调用、多 Agent 协作、长任务无人值守执行，会带来更多模型调用、更多推理轮次与更长的上下文处理，Token 消耗呈现千倍级增长。行业数据显示，2026 年推理支出预计占 AI IaaS 总支出的 55%，2027 年将升到 59%。与此同时，高端芯片供给受限，存量算力与推理任务的资源需求并不匹配。
这组数字把问题说清楚了，算力供给不可能按 Token 需求的斜率同步扩张，能做的只有提高单位算力的产出。宣善明的表述是，AI 基础设施不能再依赖单一硬件配置满足所有任务，需要按场景对算力资源分层组织和精准调度。
PD 分离：把 Prefill 交给国产算力，把 Decode 留给高带宽 GPU
大模型推理分两个阶段，特征完全不同。Prefill 负责处理输入 Token，是典型的计算密集型任务；Decode 逐步生成输出 Token，需要持续读取上下文缓存，对显存带宽要求高。传统做法是把两个阶段绑在同一批 GPU 上，结果是计算资源与带宽资源互相争抢，谁也跑不满。
商汤大装置的解法是 PD 分离。适配的国产算力集中承担 Prefill，高带宽的高阶 GPU 承担 Decode，两个阶段之间通过 KV Cache 传输连接。把不同芯片简单拼在一起解决不了问题，真正的做法是围绕计算特征、显存带宽和任务需求重新组织资源。国产算力由此从承担基础推理任务，进入更高层级的推理服务环节。
落地载体是临港 AIDC 的万卡级异构推理集群。工程难点在于互联，同一集群里要融合 800G、400G、200G 等不同规格的网络，保证 Prefill 节点与 Decode 节点之间 KV Cache 的高效传输。集群变大之后，节点故障与资源闲置成为新的麻烦，在部分异构配置中，需要 30 至 50 个中低阶 Prefill 节点才能匹配一个 Decode 节点的处理能力，一个 Decode 节点故障，后面几十个 Prefill 节点就可能一起闲置。
关键数据一览
| 指标 | 数值 | 口径说明 |
|---|---|---|
| 日均 Token 服务量 | 6 万亿 | 商汤大装置对外服务的推理吞吐 |
| 推理支出占比 | 2026 年 55%，2027 年 59% | 占 AI IaaS 总支出 |
| 吞吐提升 | 5 倍 | 同等高端旗舰卡数量，异构推理与资源协同对比基准方案 |
| Prefill 与 Decode 配比 | 30 至 50 比 1 | 部分异构配置下的节点数量关系 |
| 长上下文 KV Cache | 近 100GB 降至约 1GB | 1M 上下文，部分模型 |
| AF 分离预期 | 单卡吞吐 +150% 至 200%，运营成本 -30% 至 40% | 视模型架构与硬件配置而定 |
两种调度手法解决闲置
第一种是在 Prefill 资源池里预留少量高端算力。当 Decode 节点出现故障，可以快速调配高端节点补位，避免几十个 Prefill 节点空转。第二种是让集群中的节点具备 Prefill 与 Decode 角色的动态切换能力，根据实时负载与资源压力调整分工，让算力在两类任务之间流动。
在这套调度之上，商汤大装置搭了六层架构，覆盖能源设施、资源互联、KV 数据面、推理运行时、服务调度与交付层，把异构硬件组织成可以统一调度、弹性运行的推理服务体系。宣善明给出的验证结果是，在特定测试配置下，相同数量的高端旗舰卡，通过异构推理与资源协同，整体 Token 吞吐量可提升至原来的 5 倍。
下一步：跨域 PD 分离与 AF 分离
单个数据中心的 PD 分离跑通之后，商汤大装置在往两个方向推。跨域 PD 分离要打破单个机房边界，由本地中低阶算力承担 Prefill，把 KV Cache 传到其他地区的高阶算力集群完成 Decode，实现跨集群、跨机房乃至跨地域的推理编排。这条路能走通，前提是 KV Cache 的体积降下来，1M 上下文的缓存在部分模型里已经从近 100GB 降到约 1GB，跨域传输的压力随之下降。为了支持异地编排，团队还在引入主体 Decode 节点与中继 Decode 节点两类角色。
AF 分离则把 Decode 阶段再拆一层。Attention 负责处理上下文、提取关键信息，吃显存容量与带宽；FFN 承担大量矩阵乘法，吃算力。传统架构把两者绑在同一套 GPU 上，资源争抢无法避免。AF 分离把两者部署到各自更合适的硬件上，独立扩展。按团队的测算，这条路有望带来单卡吞吐提升 150% 至 200%、运营成本降低 30% 至 40%、整体能效提升到两倍以上，实际收益仍取决于模型架构与系统实现。
衡量标准回到服务质量与成本
宣善明把推理基础设施的优化收敛到两个指标。一是端到端的服务质量，系统能否满足约定的响应速度、生成效率、并发能力与调用成功率；二是成本，在满足服务质量的前提下，单位投入能产出多少有效 Token。
这也解释了为什么首 Token 延迟、生成速度、长上下文缓存、并发能力、调用成功率这些指标要一起看。基础问答更在意单位成本与并发，办公 Agent 与客服对响应延迟更敏感，科学探索、金融量化则看重结果准确性、可审计性与可追溯性。同一套硬件不可能同时满足所有场景，分层调度才是解法。
常见问题
PD 分离是什么？ 把大模型推理的 Prefill 与 Decode 两个阶段拆到不同硬件上执行，Prefill 吃算力、Decode 吃显存带宽，拆开后两类资源可以各自扩展，再通过 KV Cache 传输把两个阶段连起来。
为什么 Prefill 要交给国产算力？ Prefill 是计算密集型任务，对显存带宽的要求相对低，国产算力在这个位置可以稳定承接；把高带宽的高阶 GPU 留给 Decode，整机的产出效率更高。
5 倍吞吐提升是在什么条件下测得的？ 特定测试配置下，相同数量的高端旗舰卡，对比基准方案，通过异构推理与资源协同得到的结果，属于实验室与现网验证口径，不等于所有业务场景的普遍提升。
小结
6 万亿 Token 的日服务量背后，真正被解决的是资源错配。Prefill 与 Decode 分开、国产算力与高阶 GPU 各归其位、节点角色可以动态切换，这三件事叠起来，才有了同等旗舰卡数量下 5 倍的吞吐差。推理支出占比从 55% 走向 59% 的两年里，谁能把每张卡的 Token 产出做高，谁就能在价格战里留住毛利。
相关阅读
- 无问芯穹完成 23 亿元 C 轮融资：异构建力调度打通 16 种芯片
- Anthropic 融资 600 亿美元：AI 基础设施债务成本加速攀升
- 蔡崇信：AI 转向隐性基础设施，知识工作者 TAM 达 50 万亿美元
- DeepSeek V4.1 Flash 深度解读：8B 输入激活超越 V4 Pro
延伸阅读
- SK海力士：2030年AI基础设施性能规模将增长约20倍5 天前
- SK海力士：2030年AI基础设施性能规模将增长约20倍5 天前
- 美联储首次将AI投资列为通胀核心驱动力：四层传导链深度解读4 天前
- 阿里真武V900发布：算力达M890三倍，单集群50万卡4 周前
继续读
同一批更新里这几篇值得一看：
- Anthropic融资600亿美元：AI基础设施债务成本加速攀升2026-10-19
- Anthropic向美国国会递交AI监管法案：超10亿美元损失方可叫停模型（深度）2026-10-17
- 微软 MAI-Base-2：1/4 算力超越 GPT-5.6 Sol2026-10-16
想快速查定义？对应的词条在这里：
- AI Agent词条 · AI 自学笔记