NVIDIA下代Groq LPU放弃SRAM：3D堆叠DRAM能解决大模型推理的存储墙吗|AI自学笔记

10月21日，韩媒ZDNET Korea报道，NVIDIA的下代Groq LPU AI推理加速器芯片将放弃当前一代的大容量SRAM缓存设计，转而采用基于TSV（硅通孔）工艺的3D堆叠DRAM方案。这是推理芯片架构的一次重要转向——在大型语言模型参数规模持续膨胀的背景下，SRAM的容量天花板已成为制约推理性能进一步提升的主要瓶颈。

一句话结论：NVIDIA让Groq LPU转向3D堆叠DRAM，本质上是在「存储墙」问题上的一次豪赌——用TSV封装打通内存与计算的距离，以更高的内存带宽换取大模型推理的成本优势。这是推理芯片竞争从「拼算力峰值」转向「拼存储-计算协同」的关键信号。

SRAM方案遭遇瓶颈，大模型时代短板尽显

当前一代Groq LPU采用大容量SRAM作为缓存，提供快速解码输出，在小-batch推理场景下表现出色。但SRAM存在两个根本性缺陷：

容量天花板：SRAM每位需要6个晶体管，存储密度极低。典型SRAM缓存容量在100~200MB量级，而一个70B参数的模型仅KV Cache就可能需要数百GB，远超SRAM的物理极限。
制程升级收益递减：从14nm到7nm再到5nm，SRAM的密度提升远低于逻辑晶体管。行业数据显示，先进工艺下SRAM位单元面积的微缩幅度已从历史平均30%/代降至不足15%/代，摩尔定律的红利在SRAM上基本消失。

当模型参数从7B增长到405B，SRAM缓存需要容纳的中间状态数据量呈指数级膨胀，而SRAM本身的物理局限让这种增长不可持续。这正是NVIDIA为Groq LPU寻找新存储方案的根本原因。

TSV 3D堆叠工艺：突破存储墙的新路径

TSV（Through-Silicon Via，硅通孔）技术通过在芯片内部垂直打通多层硅晶圆，实现DRAM芯片与计算单元的三维堆叠集成。与传统2D封装相比，TSV的关键优势在于：

维度	传统2D封装DRAM	TSV 3D堆叠DRAM
数据搬运距离	芯片间通过PCB走线，延迟高	垂直互连，距离缩短10~50倍
内存带宽	DDR5：约100 GB/s	HBM3：约1.0~1.6 TB/s
每位成本	低（成熟工艺）	中等（良率挑战导致初期成本高）
适用场景	通用计算，HPC	AI训练/推理，图形渲染
TSV密度	不适用	可达每平方毫米数千个通孔

NVIDIA下一代Groq LPU引入TSV 3D堆叠工艺，目标是解决大模型推理中的存储墙问题。存储墙（Memory Wall）指的是CPU/GPU的计算速度与内存访问速度之间的差距——当计算单元能在1纳秒内完成一次运算，但数据从内存到达需要100纳秒时，芯片的算力将被内存带宽瓶颈大量吞噬。

推理芯片架构之争：谁能在内存带宽上率先突破

除NVIDIA外，多家厂商均在探索不同存储架构以提升大模型推理效率：

Cerebras：采用超大SRAM片上缓存（85GB Wafer Scale Engine），用物理面积换带宽，但无法突破单芯片面积上限
Groq（独立）：坚持SRAM路线，通过架构创新而非存储升级来提升吞吐
Tesla Dojo：采用独立高带宽DRAM（HBM），通过大规模并行弥补单核带宽
国产推理芯片：昇腾910B等采用HBM2e，部分型号探索封装级存储集成

行业分析师指出，推理芯片的竞争已从「算力峰值」转向「存储-计算协同」——在推理场景中，批量处理长序列时的内存带宽往往是决定性的。HBM3E的1.6 TB/s带宽比DDR5高出约16倍，在处理128K上下文窗口的Llama 3.1 405B时，这意味着每秒可处理的Token数量差距可能达到5~10倍。

对中国AI芯片行业的启示

NVIDIA选择3D堆叠DRAM而非继续堆SRAM，反映了一个行业趋势：存储墙问题已经大到不能靠「更好的SRAM」解决，必须用封装级创新。TSV工艺的核心Know-how在于：通孔刻蚀的深宽比控制、晶圆薄化后的良率管理、以及热管理（3D堆叠的热密度是2D的3~5倍）。

对中国AI芯片行业而言，这一转向的启示是双重的：第一，昇腾910C若要持续保持竞争力，在存储架构上的创新可能比单纯提升算力峰值更关键；第二，TSV封装作为后摩尔时代的关键技术，已经从「可选项」变成「必选项」，国产封装设备的突破进度将直接影响下一代AI芯片的国际竞争力。

国产存储和封装产业链正在快速追赶。长存232层3D NAND的量产、盛合晶微COWOS产能的扩张、以及华为在TSV通孔填充设备上的布局，均为这一方向奠定了基础。但真正将TSV工艺落地到AI推理芯片并实现量产，仍需要设计-制造-封装的全链条协同，这是一个以5年为单位的系统工程。

FAQ：关于Groq LPU与3D堆叠DRAM的关键问题

为什么推理比训练更受存储墙问题困扰？
训练的特点是批量大、迭代多，GPU可以通过计算与通信重叠来隐藏内存延迟；推理的特点是延迟敏感（用户等待首Token）、batch通常较小（甚至为1），无法靠批量来摊平内存访问成本。因此推理对内存带宽的要求更苛刻，存储墙的影响也更直接。

TSV 3D堆叠DRAM的功耗和散热挑战有多大？
HBM3E的热设计功耗（TDP）约为1000W，比DDR5的200W高出5倍。3D堆叠后，热密度成比例上升，传统的风冷已接近极限。主流AI服务器已开始大规模采用液冷方案，这进一步推高了数据中心的整体成本。NVIDIA在Groq LPU上选择3D DRAM，也意味着必须在系统级解决散热问题。

中小型企业能负担得起3D堆叠DRAM的推理方案吗？
目前HBM3E主要面向数据中心级AI加速卡，单卡成本在2~3万美元量级。对于中小型企业而言，通过云服务访问这类高端推理资源比自建基础设施更经济。AWS、Google Cloud和CoreWeave等云厂商已开始提供基于H100和H200的推理实例，按Token计费，中小企业可以在不承担硬件折旧风险的情况下使用高端推理算力。

小结

NVIDIA为Groq LPU选择3D堆叠DRAM，是在大模型推理场景下的一次关键架构转型。SRAM的容量和成本天花板，推动了存储方案从「快但小」向「大且快」的转变，而TSV封装正是实现这一转变的核心使能技术。这场转向的影响将不仅限于NVIDIA——它预示着AI推理芯片的竞争将越来越依赖「存储-计算协同设计」能力，而非单纯的晶体管数量或峰值算力。

延伸阅读

AI 自学笔记 每天更新 AI 前沿动态，订阅 RSS，或按 Ctrl/⌘+D 收藏本站，明天见。

继续读

同一批更新里这几篇值得一看：

想快速查定义？对应的词条在这里：

AI Agent词条 · AI 自学笔记

NVIDIA下代Groq LPU放弃SRAM：3D堆叠DRAM能解决大模型推理的存储墙吗