10 月 22 日，Cerebras 发布技术博客，公开了如何在自家 WSE-3T 晶圆级芯片上部署万亿参数前沿模型的方法，目标是把多万亿参数模型跑在每秒 1000 到 2000 以上 token 的速度上。文中用开源模型 Kimi K3 作为示例，它是约 3 万亿参数的模型，包含 69 层线性注意力和 24 层稠密层。
44GB 片上内存怎么装 3T 参数
一块 Cerebras WSE-3T 晶圆有 44GB 片上存储，而万亿参数模型光权重就要 TB 级。博客先算每层大小：Kimi K3 有 3 万亿参数，若全部按 4 bit 存储，原始参数量是 1.5TB，分摊到 93 层上，每层约 16GB。稠密层需要额外空间放 KV 缓存，因为每个活跃请求的每个 token 都要存键值，所以一块晶圆只放 1 个稠密层，剩下的 SRAM 留给缓存；线性注意力层只保留每个请求固定大小的状态，与上下文长度无关，因此一块晶圆能放 2 个线性层。按 69 层线性和 24 层稠密计算，最终需要 35 加 24 共 59 块晶圆。
只有激活值在晶圆之间流动
Cerebras 的执行是流水线式的。编译器把模型层映射到各晶圆区域，运行时再规划 token 在晶圆之间的流动路径。为了压低延迟，跨晶圆只传激活值，用以太网上的 RDMA 完成，每跳大约 2 微秒。关键在于整层通常能直接放进单块晶圆，模型权重基本不移动，层也不需要被切开。管道并不空转：第三级在处理请求 A 的 token 时，第二级可以处理请求 B，第一级处理请求 C，每级还能接一个微批次，在途请求数约等于级数乘以微批次大小。
并发上限由缓存内存决定。按 256k 平均请求长度和 8 位 KV 缓存估算，每块稠密层晶圆剩余约 28GB，扣掉单请求约 147MB 缓存后，官方图示给出大约 190 个并发请求的量级。更大规模的模型沿用同一套算法，先算权重和请求状态占多少内存，再分层铺到晶圆上串成流水线，每多一块晶圆就多一份片上内存与算力。
作为参照，Kimi K3 在 Terminal-Bench 2.1 上得分 88.3%，GPT-5.6 Sol 是 88.8%，BrowseComp 上 Kimi K3 是 91.2%，GPT-5.6 Sol 是 90.4%。大模型推理阶段的存储瓶颈有多紧，可以看 NVIDIA 下代 Groq LPU 的取舍。
Kimi K3 本身是 3 万亿参数的开源模型，架构上同时具备 69 层线性注意力和 24 层稠密结构。这条技术路径的参考价值在于，它把「晶圆级芯片到底能不能跑前沿模型」这个长期疑问落到了一份可复现的公开方案上，而不只是实验室演示，配套的开放权重可以看 Kimi K3 开放权重与三项基础设施。
延伸阅读
- Kimi K2.8 Preview 全量上线 Kimi Code：1M 上下文全会员开放，综合性能直追 K31 月前
- FDE年薪中位数20万美元，Anthropic砸1亿美元训1万人到2027年底3 周前
- 中国拟封堵23项AI技术出口：开源权重、10^26 FLOPs训练受限1 周前
- 阿里千问Go!发布：个人AI助理可代办理赔比价等7类事务2 周前
继续读
同一批更新里这几篇值得一看：
- Kyutai 开源 CADRE：7 个视频自编码器把交互延迟压到 230 毫秒内2026-10-24
- 亚马逊 CEO 贾西：AI 推理成本需降至当前的十分之一2026-10-24
- Kimi K3.1 Pro 65.7% 首夺 Terminal-Bench2026-10-24