Cerebras 跑通 3 万亿参数 Kimi K3:单晶圆 44GB 内存

10 月 22 日,Cerebras 官方技术博客披露了万亿参数前沿模型的部署方法,用开源的 Kimi K3 作为示例:约 3 万亿参数模型被切分到多块 WSE-3T 晶圆上,推理速度达到每秒 1000 到 2000 以上 token。Kimi K3 在 Terminal-Bench 2.1 上得分 88.3%,BrowseComp 上得分 91.2%。

单块晶圆 44GB 内存怎么装下 3 万亿参数

难点在内存。Cerebras WSE-3T 单块晶圆片上只有 44GB 片上内存,而万亿级模型仅权重就要以 TB 计。这篇博客回答的是官方收到最多的问题:大模型到底怎么在晶圆级芯片上跑起来。答案的核心是按层切分加多片协同,把一个大 frontier model 拆到多块 WSE-3T 上。

具体算下来,Kimi K3 有 69 个线性注意力层和 24 个稠密层,若所有 3 万亿参数按 4 bit 存储,每层约需 16GB,再依据层类型计算每块 44GB 晶圆能容纳多少层,最终确定所需晶圆总数。4 bit 量化是把 3 万亿参数压进有限片上内存的关键前提。

基准分数逼近闭源旗舰

官方给出的对比是:Kimi K3 在 Terminal-Bench 2.1 拿到 88.3%,GPT-5.6 Sol 为 88.8%;BrowseComp 上 Kimi K3 是 91.2%,GPT-5.6 Sol 是 90.4%。Cerebras 的结论是,这套方法让开源模型在编码和智能体能力上达到前沿水平,部分基准甚至反超闭源旗舰。

Kimi K3 本身是 3 万亿参数的开源模型,架构上同时具备 69 层线性注意力和 24 层稠密结构。这条技术路径的参考价值在于,它把「晶圆级芯片到底能不能跑前沿模型」这个长期疑问落到了一份可复现的公开方案上,而不只是实验室演示。