11 月 8 日，MarkTechPost 放出 NVIDIA Nemotron Labs 小型推理模型 Dory 1.0 4B 的 llama.cpp 逐环实操指南。Dory 的特别之处在于中间层构成共享块，同一个 checkpoint 可以让每一层重复跑一次到四次，在不增加任何参数的前提下覆盖四种算力预算，不需要重新训练。
3.7GB GGUF 与四档循环
指南用的是 NVIDIA 模型卡指定的 llama.cpp 分支，权重下载后是 3.7GB 的 GGUF 文件，作者直接从文件里读出架构，再据此预测每个循环档位该消耗多少参数与多少缓存内存，随后拿运行中的服务端去核对预测值。指南把实验拆成几段走完：读架构预测成本、在服务端测量每个循环档位下的解码速度、测试更便宜的末环缓存是否改变模型输出，最后跑一次配对的 GSM8K 评测，看准确率、回答长度和每题耗时随循环数增加的走向。
为什么共享块能换算力档位
由于共享块可以被重复应用，额外的一遍循环等于在每个 token 上多花一份计算量，而不是多出一批参数。于是同一份权重能当成四档配置来用，用户按显存和速度需求挑档即可。对显存紧张的机器来说，跑 1024 分辨率这类任务时如何取舍档位与卡型，可参考 Qwen-Image 与 FLUX 的 22GB 卡显存实测对比。这类本地部署场景下，模型权重体积往往比参数量更先决定能不能装下，Dory 1.0 4B 的 3.7GB GGUF 是少数能在消费级卡上完整跑通的规格。
延伸阅读
- webAI 发布 TwIL-8B：MATH-500 拿下 98.2 分3 天前
- Black Forest Labs发布FLUX 3 Klein：56亿参数原生4K3 周前
- 国产开源 OXR 仅 1.3B 参数 登顶文档解析三大榜7 天前
- 德国环保搜索引擎Ecosia弃用Mistral：不满性能落后一年，转投中国开源模型1 月前
AI 自学笔记 每天更新 AI 前沿动态，订阅 RSS，或按 Ctrl/⌘+D 收藏本站，明天见。
继续读
同一批更新里这几篇值得一看：
- Thinking Machines新模型：5940亿参数激活170亿2026-11-07
- 微软 GitHub 副总裁开源 gputaskman：看清哪个进程在吃显卡2026-11-06
- Recursive 发布 Ripple-65B，Terminal-Bench 80.5 分2026-11-06
想快速查定义？对应的词条在这里：
- Llama词条 · AI 自学笔记