11 月 5 日，英伟达发布技术解读文章提出用全栈协同设计破解 AI 内存瓶颈，官方援引 SemiAnalysis 的 AgentX 基准称，在每用户每秒 125 token 的条件下，Vera Rubin NVL72 相较 GB300 NVL72 的每美元智能体吞吐量最高提升 30 倍，而每颗 GPU 的 HBM 容量仅增加约 3%。
瓶颈从显存转向带宽
英伟达把 HBM 比作仓库，把内存带宽比作装卸口：容量再大，数据进出速度跟不上，仓库再大也无法转化成实际服务能力。推理过程中昂贵的 HBM 既要承载模型权重，也要保存记录上下文所需的 KV 缓存，智能体工作流在多次模型调用与工具调用之间持续携带历史上下文，部分场景需要处理多达 300 万个 token，检索增强生成还会把企业资料加入提示词，进一步推高内存占用。
四个层级的具体做法
在具体操作上，NVFP4 低精度格式用于压缩模型权重与 KV 缓存。在 NVL72 系统中，模型权重可分散至最多 72 颗 GPU。Vera CPU 的大容量 LPDDR 内存为暂停的上下文提供就近缓冲。Dynamo 推理软件把不活跃上下文迁移至 CMX 上下文存储，并在复用前取回，检索增强生成的索引也可以保留在 CPU 与存储侧，避免长期占用 HBM。英伟达另给出 GB300 NVL72 相对 H200 的对比：在每用户每秒 100 token 条件下，每美元吞吐量最高提升 10 倍。
竞争指标从显存转向单位产出
英伟达由此得出的判断是，AI 算力竞争的关键正从显存容量总量，转向每字节、每瓦特能产出多少有效 token。站内关于算力供给侧的记录显示 高通的 AI250 内存带宽验证曾给出 133 TB/s 的数字，两者指向的是同一个内存带宽瓶颈，只是解法路线不同。
延伸阅读
- Anthropic 与 SpaceX 签 845 亿美元算力协议1 月前
- 英伟达称 AI 重塑芯片工厂 仿真提速最高 35 倍2 天前
- COHERENT 单季营收 23.7 亿美元：数据中心业务同比增 79%1 天前
- 英伟达 RTX 5090 官方商城下架：Blackwell 旗舰疑似停产让路 AI 算力3 周前
AI 自学笔记 每天更新 AI 前沿动态，订阅 RSS，或按 Ctrl/⌘+D 收藏本站，明天见。
继续读
同一批更新里这几篇值得一看：
- OpenAI 承诺 1000 兆瓦电网削峰：约 70 万户家庭用电当量2026-11-03
- 英伟达 Vera CPU 实测：每瓦多跑 1.6 倍智能体2026-11-06
- OpenAI 算力园区政策蓝图：480 万美元助 1.4 万学生2026-11-06