prefix="og: https://ogp.me/ns#"> Recursive 发布 Flint:40B MoE 仅激活 2.5B 参数

Recursive 发布 Flint:40B MoE 仅激活 2.5B 参数

10 月 21 日,Recursive Superintelligence 发布了自家的第一个模型 Flint。这是一款面向编程智能体的本地开源 MoE 模型,总参数 39.8B,每个 token 实际激活约 2.5B,权重以 Apache 2.0 协议挂到了 Hugging Face 上。官方给出的成绩是 SWE-bench Verified 74.2%、Terminal-Bench 2.1 拿到 54.9%。

2.5B 激活参数是怎么压出来的

Flint 的结构是纯解码器 MoE Transformer,一共 49 层,前 2 层是稠密层,后 47 层是 MoE 层。每层有 256 个路由专家,路由器每个 token 选 6 个,另外还有 1 个始终激活的共享专家。注意力分两种:35 层用 513 token 的滑动窗口,14 层用全注意力且不带位置编码,32 个 query head 配 4 组 key/value head。2.5B 这个激活数把输出头算了进去,激活部分本体约 2.2B。

Recursive 声称这套架构是从 35B 总参数、3B 激活的基线搜出来的。量化环节把输出层压到 4 位,再靠离线蒸馏用 16 位模型当teacher 把精度补回来,训练步数比量化感知训练的基线少了近一半,NVFP4 版本与 16 位版本的分数差距在 0.7 分以内。

本地跑得动,性能却输在终端操作上

硬件门槛是 48GB 内存的苹果芯片(M4 Pro、M5 Pro、M5 Max)或 48GB 显存的英伟达卡。4-bit 权重占约 23GB,INT4 的 MLX 权重是 22.6GB,NVFP4 的 GGUF 是 22.9GB。速度方面,官方称在 M4 Pro MacBook Pro 上超过每秒 125 个 token,在 64GB 的 RTX Spark 上超过每秒 150 个,比同类模型快 2 倍以上。

短板也很清楚。Terminal-Bench 2.1 只有 54.9%,而稠密的 Qwen 3.8 是 73.0%,这一项差距明显。SWE-bench Pro v2 的 89.7% 是 Recursive 自己测的,没有公开榜单可比。对比之下 Qwen3.6 在 SWE-bench Verified 上是 73.4%,Flint 是 74.2%,LiveCodeBench v6 上 Qwen3.6 以 80.4% 略高于 Flint 的 80.3%,IFEval 则是 Flint 的 95.1% 占优。

自动化研究系统充当了开发者

Recursive 强调 Flint 几乎每一层技术栈都由他们的 Eureka Machine 参与构建,这套自动研究系统负责提出想法、实现、测试,再挑选下一个值得试的方向。除了架构搜索,它还负责为低比特投影、MoE 运算、注意力和提示处理编写专用 kernel;在 M4 和 M5 芯片上,一套 Metal megakernel 把整个解码前向过程融合成一步。