11 月 13 日，一位开发者在社区分享了用一台不带独立显卡、搭载 40 核处理器的老旧服务器跑起月之暗面 Kimi K3 的过程。Kimi K3 总参数量 2.8 万亿，每个 token 仅激活约 1040 亿参数，官方标称的上下文高达 104 万 token。
靠傲腾内存硬扛容量
即便把模型压缩到 1bit 量化，也需要数百 GB 内存才能装下，普通家用主板承载不了。方案是第三代至强可扩展处理器加英伟达已经停产的傲腾持久内存 200 系列，单条最高 512GB，再用 llama.cpp 把傲腾设为 App Direct 模式，让它直接作为内存读写，而不是当硬盘缓存由系统调度。
速度上的代价很实在
1bit 量化下实测生成速度为每秒 0.85 个 token，关掉直接访问模式后最高也只到每秒 1.5 个 token，切换到 3bit 量化约为每秒 0.75 个 token。让它写几百字需要等上好几分钟，输出 5 万个 token 则要 18.5 小时。
把停产的内存当主存的代价
整个方案的关键在于让傲腾直接承担读写。llama.cpp 里 App Direct 模式会把持久内存映射成普通内存，程序直接按地址访问，系统不再把它当缓存来调度。对程序员来说这是一条熟悉的路径，但对硬件厂商来说相当反常，因为这类产品的定位本来是给内存不足的场景做补充。
温控与产品线现状
傲腾单条功耗上限 18 瓦，介质温度达到 83 摄氏度开始降频，飙到 85 摄氏度会触发保护性关机。英伟达早在 2022 年第二季度就启动傲腾内存业务的收缩，当季计入 5.59 亿美元库存减值，这条产品线已没有后续代次产品。Kimi 模型的另一条工程路线可参考本站 Kimi 游戏开发方案。
延伸阅读
- Samaya Sterling 金融模型 58.9% 分：单题成本 0.61 美元2 周前
- OpenAI首次公开点名：Kimi相关账户窃取16000次模型推理背后1 月前
- Kimi K2.6登顶开源编程榜：54分超GPT-5.4，262K上下文1 月前
- Strata 0.2.10：8GB显存跑128K上下文2 周前
AI 自学笔记 每天更新 AI 前沿动态，订阅 RSS，或按 Ctrl/⌘+D 收藏本站，明天见。
继续读
往下这几篇值得接着看：
- 豆包工作接入Kimi与DeepSeek 第三方模型额度倍率下调2026-11-12
- LobeHub 让 AI 接管开源公司：8.44 万 Star 项目 70% 通过率2026-11-10
- Kimi 游戏开发方案：20 小时无人干预与 330 万三角面场景深度2026-11-10
想快速查定义？对应的词条在这里：
- Kimi词条 · AI 自学笔记