10 月 21 日消息，韩媒 ZDNET Korea 报道，NVIDIA 的下代 Groq LPU AI 推理加速器芯片将放弃当前一代的大容量 SRAM 缓存设计，转而采用基于 TSV（硅通孔）工艺的 3D 堆叠 DRAM 方案。新架构预计将显著提升芯片在大型语言模型上的推理表现，并解决 SRAM 方案在容量和制程升级上的固有局限。
SRAM 方案遭遇瓶颈，大模型时代短板尽显
当前一代 Groq LPU 采用大容量 SRAM 作为缓存，提供快速解码输出，但 SRAM 存在容量较小、制程升级密度收益有限的先天缺陷。在大型语言模型参数规模持续膨胀的背景下，SRAM 的容量天花板已成为制约推理性能进一步提升的主要瓶颈。
TSV 3D 堆叠工艺：突破存储墙的新路径
TSV（Through-Silicon Via，硅通孔）技术通过在芯片内部垂直打通多层硅晶圆，实现 DRAM 芯片与计算单元的三维堆叠集成，显著缩短数据搬运距离、提升内存带宽，同时突破传统二维封装的面积限制。NVIDIA 下一代 Groq LPU 引入这一工艺，目标是解决大模型推理中的存储墙问题。
推理芯片竞争加剧，存储架构成焦点
除 NVIDIA 外，Groq 本身以及 Cerebras、Tesla Dojo 等专用推理芯片均在探索不同存储架构以提升大模型推理效率。分析师指出，推理芯片的竞争已从算力峰值转向「存储-计算协同」，谁能在内存带宽上率先突破，谁就能在大模型部署成本上占据优势。
延伸阅读
- 英伟达中国AI芯片份额跌至34%：IDC报告全解读1 周前
- 英伟达优化Kimi K3推理：2.8万亿参数达423 tok/s，提速1.68倍3 天前
- 英伟达 Nemotron 3.5 Super VL：1200 亿参数，单卡吞吐提升 5 倍6 天前
- 英伟达 DGX Spark 64GB 发布：4999 美元起，两台拼成 128GB 集群性能提升 70%3 周前
AI 自学笔记 每天更新 AI 前沿动态，订阅 RSS，或按 Ctrl/⌘+D 收藏本站，明天见。
继续读
同一批更新里这几篇值得一看：
- 英伟达 Nemotron 3.5 Super VL：1200 亿参数，单卡吞吐提升 5 倍2026-10-16
- 黄仁勋一周访欧四国立场鲜明：别再对 AI 过度犹疑，否则将被时代甩在身后2026-10-21
- 黄仁勋访欧四国后抵达柏林：警告过度监管将使欧洲错失AI竞赛2026-10-20