10 月 28 日，Polymathic AI 与普林斯顿大学、USC ISI 等团队发布 FlashMap，把投机解码的草稿器换成连续流映射，一次前向就吐出 16 个 token，在 Qwen3-8B 上最高拿到 6.14 倍无损加速。
一次生成 16 个 token
投机解码的机制是轻量草稿器先提出一段 token，再由目标大模型一次并行验证，保留匹配的最长前缀，输出与目标模型完全一致。传统自回归草稿器一个一个地写，块扩散草稿器比如 DFlash 一次写完整块，但每个槽位独立预测，忽略块内依赖。FlashMap 用连续流映射把高斯噪声映射到整个 token 块，噪声为所有槽位联合选出模式，不会出现一半是新模式一半是旧模式的拼接。草稿器只有 0.5B 参数，Qwen3-8B 版本 500M，Qwen3-4B 版本 475M，跑在与目标模型同一张 GPU 上。
跑分与代价
论文数据在 Qwen3-8B 上，GSM8K 温度 0 时加速 6.14 倍，接受长度 7.69 个 token；最差情况是温度 1 的 Alpaca 只有 2.28 倍。1 步模式在 9 项基准上都比同条件下重训的 DFlash 快，平均高约 7%；2 步模式接受长度在 18 组设置中全部领先，平均高 10%。所有模型与消融实验合计约 4600 张 H200 卡时。取舍很清楚，草稿快但接受率不稳，闲聊类任务收益最小，数学与代码类最明显。本地跑推理速度的路线，站内这篇 Recursive Flint 开源是另一种解法。
上手方式
权重已上 Hugging Face，代码 MIT 协议，权重 Apache-2.0，附带 vLLM 与 SGLang 插件。vLLM 0.31 需要把 num_speculative_tokens 设为 16，SGLang 0.5.20 用 –speculative-algorithm DSPARK 走 FlashMap 草稿路径。温度大于 0 时 vLLM 侧还要加 draft_sample_method 的 probabilistic 设置。
推理成本仍是企业部署大模型的第一笔账，能把解码提速六倍而不改输出，迁移意愿会高很多。
延伸阅读
- Hi3D V1.0 开源：1536³ 几何细化与 90% 切片成功率，对比 9 个开源基线17 小时前
- EdgeRock-4B 开源：72 MiB 固定 KV，AIME 82.9 分2 天前
- 英伟达 Nemotron 3.5 Transcribe 开源：40 语种转写2 小时前
- 谷歌开源TorchTPU：PyTorch零改动迁移TPU，CUDA十年护城河首现裂痕1 周前
继续读
同一批更新里这几篇值得一看：
- 伯克利 LEANN 向量索引：6000 万块从 201GB 压到 6GB2026-10-29
- 英伟达 Nemotron 3.5 Transcribe 开源：40 语种转写2026-10-29
- 是石科技 TokenFleet 发布：P95 首 Token 延迟降 32.4%2026-10-21
想快速查定义？对应的词条在这里：
- AI Agent词条 · AI 自学笔记