Recursive Flint 开源：40B 只激活 2.5B，本地跑 131 tok/s

Recursive Flint 是一台能塞进 48GB 内存 MacBook 的 40B 编码模型，它每 token 只动用约 2.5B 参数，SWE-bench Verified 官方自测 74.2%，M4 Pro 上跑出 131 tokens/s。这三个数字构成了 2026 年 10 月 21 日开源发布当天最被讨论的技术事实。

Flint 由 Richard Socher 创办的 Recursive 发布，权重以 Apache-2.0 协议开放在 Hugging Face，仓库为 RecursiveSI/flint。发布第二天，llama.cpp、LM Studio、Jan、Ollama 四家框架已经挂出 12 个量化变体，Ollama 侧可以直接 ollama run flint 拉起默认约 23GB 的标签。这在开放权重模型里属于罕见的落地速度。

39.8B 总参数、2.5B 激活的稀疏结构拆解

Flint 的关键指标是激活量，总量排在其次。模型卡写明总参数 39.8B，每个 token 激活约 2.5B，其中约 2.2B 来自网络主体，其余计入输出头。稀疏比例超过 15 倍，这意味着它把 40B 级别的知识容量装进内存，实际付算力账的只有 2.5B。

结构上，Flint 共 49 层，前 2 层为稠密层，后 47 层为 MoE 层。每一层 MoE 路由到 256 个专家，每 token 选 6 个，再加 1 个常驻共享专家。注意力层做了混合设计，35 层滑窗注意力窗口 513token，14 层全注意力；查询头 32 个、键值头 4 个、头维度 128。模型卡还记录了两个稳定性细节，逐头 QK RMSNorm 与学习到的 attention sinks，且全注意力层完全不带位置编码。词表 150,144，知识截止到 2026 年 6 月。

这套结构的直接后果是本地解码速度由激活参数决定，总参数的影响退居其次。40B 的知识储备配上 2.5B 的算力开销，这是本地部署路线近年最有代表性的样本。类似的稀疏思路在超大规模侧也在铺开，可参考 Qwen3.8-Flash-Next 深度解读：125B MoE 训练成本砍到 1/9 与 阶跃 Step 5 Preview 开放权重：6000 亿稀疏 MoE。

74.2% 是什么口径，扣掉脚注还剩多少

Recursive 公布的成绩全部来自自家评测，这一点模型卡主动写明。SWE-bench Verified 74.2%，SWE-bench Pro v2 89.7%，Terminal-Bench 2.1 54.9%，LiveCodeBench v6 80.3%，IFEval 95.1%，IFBench 89.2%。

测量方法比分数更值得看。智能体类分数取至少 5 次尝试的 pass@1 平均，单次智能体超时上限 5 小时。Terminal-Bench 跑在 Terminus 2 harness 上并开放联网，但任何靠网络检索得到的答案一律计为失败，SWE-bench 侧使用 mini-swe-agent 且完全断网。模型卡同时声明横向对比分数来自各开发者自报，评测设置并不统一。

所以 74.2% 不能直接等同于闭源前沿模型的同口径成绩，但也不能简单当成营销数字。SWE-bench 这类基准本身对智能体脚手架极度敏感，同一个模型换 harness 分数可以差十几个点，行业内可参考 联想 TianxiCode 登顶 SWE-bench-Live：71% 问题解决率与代码智能体架构。

本地速度 131 tok/s 的三个前提

Recursive 给出的速度数据附有明确条件。相同 M4 Pro 48GB 统一内存设备上，1K 上下文下 Flint 达到 131.22 tokens/s；64GB NVIDIA RTX Spark 上 NVFP4 量化跑到 155.82 tokens/s。同一张图表里的稀疏对照组 Qwen3.6 35B A3B 分别是 65.55 与 72.65 tokens/s，差距 2.0 倍与 2.14 倍，官方「最高 2 倍更快」的说法由此而来。

三个前提必须一起看。速度取 128K 会话窗口内的平均值并排除 prefill 时间，同级模型的对照组数据来自其他团队的运行时而非统一实测环境，测量硬件与自家优化引擎绑定。换一套推理栈，倍数关系可能收窄。

速度差落在体感上就是交互形态的差别。每秒 130 token 意味着代码智能体可以在改文件的同时流式吐解释，而同一台机器上跑稠密 40B 模型通常只有十分之一的吞吐。这台机器本身也是一种方案，英伟达 DGX Spark 64GB 发布：4999 美元起，两台拼成 128GB 集群 覆盖了同一条赛道。

硬件门槛与运行清单

官方推荐的量化配置门槛明确。Mac 侧需要 Apple Silicon 且统一内存至少 48GB，覆盖 M4 Pro、M5 Pro、M5 Max；NVIDIA 侧需要至少 48GB 显存的 GPU。BF16 官方 checkpoint 约 80GB，每个副本需要一块 B300 或 H200。

权重文件形态有两条路。llama.cpp 的 INT4 GGUF 单文件 26.0GB，Ollama 默认标签约 23GB 且支持 256K 上下文。运行栈兼容 llama.cpp、Ollama、Unsloth、LM Studio、vLLM 与 SGLang，Transformers 建模代码尚未包含。上下文方面模型卡记录 262,144token 配置，官方称最高支持 512K、推荐控制在 256K 以内。OpenRouter 还提供了免费端点，带 262K 上下文与工具调用能力。

端侧场景下还有另一条把大模型压进消费级硬件的路径，骁龙 8 Elite Gen 6 发布：本地可跑 300 亿参数 MoE 模型 与 Colibrì 用 SSD 当显存跑 744B GLM-5.2 分别代表手机侧与显存外置两种思路。

横向对比：Flint 与同尺寸稀疏模型

这张表按各开发者自己的模型卡整理，Terminal-Bench 版本号不同，只能看大致位次。Flint 在 50B 以内的 MoE 家族里居首，但稠密模型仍在上方，Qwen 3.8 的 Terminal-Bench 2.1 为 73.0%、SWE-bench Pro v2 为 94.9%，都高于 Flint 对应项。Flint 的卖点是把稠密 25B 到 40B 档模型的编码能力装进一个跑得动的稀疏壳子里。

Eureka Machine 与四个月造完模型栈

Recursive 强调另一件事：构建 Flint 全部模型栈的工作绝大部分由其自动化研究系统 Eureka Machine 完成，一个小规模人机团队在不到四个月内从零搭出整条流水线。Socher 的发布帖在首轮传播中获得约 5300 次点赞与 197 万次浏览。

这条信息的搜索价值高于产品本身。开源社区长期在讨论自动化研究系统能否真正闭环，Flint 是少数给出了具体交付物与时间线的样本。它的边界同样清楚，模型卡把多轮工具使用下的表现描述为需要更明确引导，建议把复杂任务拆成带显式指令的小步骤。

适合谁，不适合谁

Flint 落在三个明确位置。代码不出本地、离线可用、零 API 费用的敏感仓库；预算受限于 API 调用量的个人与小团队；以及需要一个可以自己量化、自己改部署的基座模型的实验场景。

不适合的场景同样清楚。需要长期稳定无人值守的复杂重构、需要最强推理上限的生产系统、或者没有 48GB 内存也没有 48GB 显存的用户。官方明确指出它在需要时仍可能比闭源编码模型更依赖提示工程，且截至发布没有独立实验室复现出这批成绩。判断前建议在自己的仓库上跑一遍，这一步省不掉。

常见问题

Recursive Flint 可以免费商用吗

可以。权重以 Apache-2.0 协议开放，属于最宽松的商用友好许可之一，无需单独申请商业授权。部署侧只有算力成本，官方没有设置调用计费或并发限制。

Flint 需要多少内存才能跑起来

量化版本门槛是 Apple Silicon 48GB 统一内存或 48GB 以上显存的 NVIDIA GPU。llama.cpp 的 INT4 文件 26.0GB，Ollama 默认标签约 23GB。想跑 BF16 原始精度则需要 80GB 级显存，可用一块 B300 或 H200。

74.2% 的 SWE-bench Verified 成绩可信吗

可以参考，但需要带着口径看。分数来自 Recursive 自测，模型卡明确说明对比模型成绩由各开发者自报，评测设置并不统一。智能体类成绩取至少 5 次尝试的 pass@1 平均，单次超时 5 小时，Terminal-Bench 中靠网络检索得到的答案一律计失败。严谨的做法是在自己的仓库上做一次对照评测。

小结

Flint 的贡献不在于拿下某个榜单第一，而在于把稀疏 MoE 的工程收益完整兑现到消费级硬件上。39.8B 的容量、约 2.5B 的激活、Apache-2.0 协议、131 tokens/s 与 23GB 的量化包，这五个数字组合起来指向同一个结论：本地代码智能体从演示走向日常使用，门槛已经降到一台内存充足的笔记本加一个命令。Mistral Large 4：1 万亿参数 490 亿激活，英伟达联手接入工业仿真 代表的是另一条把稀疏架构推向数据中心与物理世界的路线，两者的共同前提都是激活参数而非总量决定实际成本。