11 月 3 日，开源本地大模型运行工具 Strata 发布 0.2.10 版本，把消费级显卡的门槛继续往下压。官方给出的关键数字是，8GB 显存的设备可以成功启动 Qwen3.8IQ3_S 这类模型，并维持 128K 即 131072 token 的上下文长度，生成速度可达 63 至 73 token 每秒。
8GB 显存撑起 128K 的实现方式
以往在 8GB 显存上开 64K 以上上下文，常因专家缓存空间耗尽直接启动失败，用户只能退到 48K 左右。0.2.10 优化了底层资源分配，显存不足时优先动态调整显存与内存之间的数据分配，尽量保留用户设定的上下文长度，必要时把部分缓存摊到系统内存或硬盘。用英特尔 Arc A750 8GB 实测，启动 128K 上下文后生成速度为 12.7 至 14.8 token 每秒。官方同时建议内存 32GB 起步、48GB 较为合适，64GB 才能从容应对复杂场景。
DFlash2 取代 MTP 推测解码
本次更新把 DFlash2 设为默认推测解码器。它让轻量辅助模型提前预测后续内容，再交由主模型批量验证。相比原 MTP 推测层约 5.2GB 的显存占用，DFlash2 压缩到约 625MiB，单这一项就省出约 4GB 显存。在 Ryzen AI Max、RTX PRO 5000 与 Apple M5 Max 上，DFlash2 在单请求场景优势明显，MTP 则保留多并发与兼容性优势。
多卡分割让代码生成接近翻倍
新增的 All-cards Split Engine 不再把模型各层机械分给不同显卡，而是让多张卡同时参与每一层的并行计算。官方测试中，两张 RTX A6000 在 Linux 下跑代码编辑任务，速度从 195 token 每秒升到 377 至 394 token 每秒。此外还引入了基于 DeepSeek-V4.1-Flash 专家裁剪的编程专用模型 ISTA-DAS Coder，权重与 Engram 数据文件体积较大。AWS 开源 Infinity 运行时同样演示过 8GB 内存级资源上的极限调度。
延伸阅读
- 阶跃星辰 600B MoE 旗舰 Step 5 Preview 上线 22 小时 GPU Kernel 优化到 508 TFLOPS1 月前
- GPT-OSS开源权重模型发布：120B/20B双版本Apache 2.0可商用，128K上下文与本地部署全解析1 月前
- 硅基流动完成 B+ 轮二期与 C 轮融资：2026 年累计近 29 亿元，冲刺港交所 18C 上市1 月前
- 中国电信开源 Xing4.0-29B-A4B：全栈国产，消费级显卡跑 512K 上下文1 月前
继续读
同一批更新里这几篇值得一看：