Edge0-145B 怎么跑：29GB 内存装下 1450 亿参数的部署实测

Edge0-AI 在 11 月 12 日开源了 Edge0-145B，这是它继 35B 之后放出的第二款端侧大模型。一句话结论：1450 亿总参数里每 token 只有约 100 亿参与计算，靠显存、系统内存和固态硬盘三层接力把权重摊开，官方给出的峰值内存是 29GB、笔记本上每秒解码 80 多个 token；跑分全部来自厂商自测，技术报告还没放出来，真机复现要等第三方。

把 Edge0-145B 拆开看，它值得关注的点有三个：一是一套把百亿级模型塞进个人电脑的内存调度思路可以直接抄，二是它在 DeepSWE 1.1 和 Terminal-Bench 2.1 上压过了 Qwen3.8-Flash-Next 与 DeepSeek-V4-Flash-0731，三是厂商自测与真实可用之间还隔着一段需要自己验证的距离。下面按架构、速度、跑分、门槛四层拆开。

Edge0-145B 的架构：1450 亿参数里只有 100 亿在干活

模型是稀疏混合专家结构，具体配置写在模型卡和官方文档里：48 层，每层 512 个路由专家，每个 token 命中其中 10 个，外加 1 个常驻共享专家；注意力走的是全宽设计，145B 的潜变量宽度是 1792，120B 是 1280。上下文窗口 256K，训练阶段就用 4 bit 原生精度，而不是先把稠密模型训完再量化。

关键的一层设计是共享大矩阵。每 64 个专家共享两个大矩阵，每个专家只保留自己差异化的那部分参数。早期做法里每个专家都要存一整套矩阵，现在总量因此小了很多。这套思路带来的直接结果是推理时只有大约 100 亿参数参与计算，占总量不到 7%，其余权重在磁盘上待命。

模型基座来自 Qwen3.8-Flash-Next，两款模型分 Q3_K 与 NVFP4 两种量化档：145B 的 Q3_K 权重 40.81 GiB，NVFP4 是 47.79 GiB。120B 对应 27.98 GiB 与 32.96 GiB。推理框架和权重都以 Apache-2.0 协议放出，代码仓库在 GitHub 上的 Star 数到 11 月 15 日晚已经过万，相关研究论文是 arXiv 上的 2609.18063。

四层改造怎么把 400GB 的模型压进 29GB

Edge0 把这套系统拆成四层，每层单独解决一个约束。

架构层解决的是要搬多少数据。共享矩阵让需要存储和搬运的权重总量下降，专家数量保持不变。

训练层解决的是别事后压。模型从第一天就按端侧形态训练，部署约束写进设计里，省掉了把云端模型压缩或剪枝带来的那部分性能损失。

加载层是三段接力。约 40GB 的专家库放在系统内存按需调入，约 48GB 的词表数据留在固态硬盘实时读取，高频使用的热专家常驻显存。读取与计算在三段之间重叠，不出现串行等待。

调度层是 CPU 与 GPU 分工。GPU 负责已缓存专家的计算，CPU 并行处理其余工作，再用投机解码把权重读取成本摊到更多输出 token 上。

这四层叠加的官方口径如下。稠密 145B 模型通常需要 400GB 量级的内存，Edge0-145B 报告的峰值内存是 29GB，预填充速度每秒 1100 多个 token，解码每秒 80 多个 token，典型功耗约 120W，128K 到 256K 上下文下速度基本不降。

六种机器上的真实速度：桌面与服务器差着一个数量级

官方给出的速度表分两档指标，聊天解码和智能体解码。智能体解码带工具调用，实测通常低于纯聊天速度。数值全部取自官方仓库的基准表。

最后一行需要特别说明：它和第一行是同一张 RTX 5090 D，不是另一张卡。官方用参数把显存占用压到 16GB，系统内存用 cgroup 限到 20GB 且不启用 swap，目的是模拟低配环境，属于测试限制而不是最低配置要求。

120B 在同样的机器上更快一档，RTX 5090 D 上的 Q3_K 智能体解码达到 144.6 tok/s，16K 预填充 4576.5 tok/s。低显存档下 120B 的智能体解码是 73.3 tok/s，比 145B 高出一倍。这说明如果只需要一个能用的本地编码模型，120B 的性价比明显更好。

跑分对照：压过新一代 Flash，但对手是两代前的 Opus

六项基准的对照表同样来自官方模型卡。分数越高越好，AA-LCR 与 IFBench 分别是长上下文还原和指令遵循，HLE 是 Humanity’s Last Exam。

三处需要打个折扣。第一，Terminal-Bench 2.1 这一行的对照对象是 Claude Opus 4.6 Max，那是两代以前的模型，78.2 分并不是当下前沿水平。第二，官方博客与仓库表格在 120B 的 DeepSWE 与 Terminal-Bench 上给了不同数字，博客写 53.6 与 81.3，仓库表格写 51.3 与 75.3，同源数据自相矛盾说明发布流程还不够严谨。第三，全部数字都是厂商在自己的硬件与自测框架下产出，技术报告尚未发布，独立复现还没有出现。

值得注意的是 HLE 这项。Edge0-145B 的 35.4 分低于 Claude Opus 4.6 Max 的 40.0，也低于 Qwen3.8-Flash-Next 的 35.9。高难度的跨学科问题没有跑赢同代云端 Flash 模型，这是本地模型与云端模型差距最明显的地方。

跑起来要什么：硬件门槛与完整部署清单

145B 与 120B 走的是 edge0-strata 引擎，平台支持按官方仓库的表格如下。macOS 的 Apple Silicon 只支持 Q3_K 量化档，NVFP4 是英伟达格式。

部署步骤是四步。第一步克隆仓库，然后分别编译引擎 edge0-strata 和命令行工具 edge0-infer，前者按 Linux 或 Windows 的英伟达构建说明走，后者按其入门文档走。第二步下载对应模型文件夹，Q3_K 或 NVFP4 都可以，不要传包含多个模型的父目录。第三步启动服务：

build/cpu/bin/edge0-infer serve --model /path/to/Edge0-145B-q3k

权重加载完成后会打印监听地址 http://127.0.0.1:8000，模型标识是 edge0_145b，随后提供与 OpenAI 和 Anthropic 兼容的接口，可以直接这样调用：

curl localhost:8000/v1/chat/completions -H 'content-type: application/json' -d '{"model":"edge0_145b","messages":[{"role":"user","content":"hi"}],"max_tokens":64}'

交互式会话用 edge0-infer chat –model 加上模型路径。Windows 下可执行文件是 build\windows\bin\edge0-infer.exe，桌面版 Edge0 Chat 在 GitHub Releases 直接下载，选一个模型文件夹就能跑。

内存不够时有三个关键参数。–mmap-experts 让未缓存的专家直接从固态硬盘按需读取，内存里不常驻副本；–resident-budget-gib 20 把主机内存里的专家缓存上限压到 20GB，它必须搭配静态的 –expert-profile 文件使用；–vram-reserve-mib 给显存留出固定额度，默认值是 700，引擎按剩余空间自动决定缓存多少专家，默认 –expert-cache 为 0，优先保证速度而不是塞满显存。这些参数都写在模型目录的 model.json 里，改一次对每次启动都生效。

跑之前值得先算一笔账。要估算权重和 KV 缓存各占多少，可以参考站内这篇本地大模型显存怎么算：8B 每 1K 上下文 144MB 里的算式，稀疏专家模型因为 KV 头少，缓存占用和同参数量的稠密模型差别很大。

常见问题

Edge0-145B 需要什么显卡才能跑起来？

官方路线是 Linux 或 Windows 配英伟达 GPU 并安装 CUDA 13，最低按 24GB 显存的卡来规划。苹果芯片的 Mac 走 Metal 路径，但只支持 Q3_K 量化档。低于 24GB 显存时可以用参数硬压，官方给的低配实测是用同一张 5090 D 限到 16GB 显存加 20GB 系统内存跑出来的，属于测试下限而非推荐配置。

145B 和 120B 该选哪个？

按用途选。145B 的价值在代码与智能体任务，DeepSWE 1.1 得 64.6、Terminal-Bench 2.1 得 86.5，比 120B 高出一大截。120B 在同样的 5090 D 上智能体解码 144.6 tok/s，比 145B 快一倍以上，低配档位下差距拉得更开。如果主要是日常编码和工具调用，120B 加 Q3_K 是更省电更快的组合。

这些跑分可以信到什么程度？

信方向，信具体数字要打对折。整张表都是 Edge0 自测，官方在博客和仓库表格之间对 120B 给出了两组不同分数，技术报告也还没发。可以确定的是这套三层内存调度在工程上跑通了，29GB 峰值内存和 80+ tok/s 解码有明确的测试条件。哪些任务它真的比云端模型好用，只能等第三方在自己的工作流上复现。

相关阅读

想理解这套调度省下的内存落在哪个环节，可以对照站内这篇本地大模型显存怎么算：8B 每 1K 上下文 144MB。要了解另一条稀疏路线的实测读数，站内这篇 Recursive Flint 开源：40B 只激活 2.5B，本地跑 131 tok/s 给了同类架构在个人设备上的速度参照。量化档怎么选、权重怎么搬，站内这篇 LongCat-2.5 开源：1.6T 参数 MIT 协议，W4A4 量化怎么跑 讲了 W4A4 与 BF16 在显存和吞吐上的取舍。小模型在个人设备上怎么跑通，可以看站内这篇 NVIDIA Dory 1.0 4B 怎么跑：3.7GB GGUF 四档算力实测。