Mirendil Fern 0.1 发布:1000 万 Token 上下文检索满分

一句话结论:AI 实验室 Mirendil 在 2026 年 10 月 26 日发布首个模型 Fern 0.1,上下文窗口最高 1000 万 Token,在 RULER 长上下文基准上单针检索拿满分,多跳问答却只有 45 分,目前仅接受内测申请。

这枚模型出自一家不太知名的实验室。Mirendil 于 2026 年 6 月 24 日正式公开,创始团队 20 人来自 Anthropic、xAI、Google DeepMind 与 OpenAI,由 Andreessen Horowitz 和 Kleiner Perkins 领投 2 亿美元种子轮,NVIDIA 也参与投资。据报道公司估值 10 亿美元,创始人 Behnam Neyshabur 与 Harsh Mehta 分别来自 Anthropic 与 Google。8 月 6 日,Mirendil 宣布与 Google Cloud 建立多年期合作,使用 AI Hypercomputer 的 TPU 与 NVIDIA 全栈基础设施支撑训练与推理。

Fern 0.1 是这家实验室交出的第一份答卷。它没有做成通用聊天产品,官方明确把目标用户定位成做 AI 的人,用于审计训练数据里的重复、基准污染与垃圾内容,从长日志和堆栈信息里定位训练失败原因,以及通读整条智能体轨迹。这条路线的技术前提是超长上下文,所以 1000 万 Token 这个数字本身就是产品定位的一部分。

1000 万 Token 到底能装下多少东西

官方给的说法是 1000 万 Token 大约相当于 23MB 代码,约 50 万行,规模接近 Megatron-LM 库本身。除代码之外,官方还提到可以同时容纳数十到数百条完整的智能体轨迹,也就是数天的工作量。

Mirendil 的论证方式是把上下文长度当成算力的第二种花法。参数量存的是静态知识,支撑更深一层的推理;上下文窗口装的是任务特定信息,包括规范文档、过往工作、更多证据和更多代码。公司认为 10M 这个量级无法靠把既有架构拉长凑出来,架构、训练与服务三层都按这个长度重新设计,接近完美的检索需要专门面向千万级注意力的架构。

这个方向的成本代价也很直接。10M 上下文把推理瓶颈从算力推到了内存带宽。类似的问题在 DeepSeek V4.1 Flash 把 KV Cache 缩小 437 倍 那类工作里被反复处理,EdgeRock-4B 用 72 MiB 固定 KV 撑起 512 路并发 走的是另一个方向,都是在解同一个约束。

RULER 全表:检索满分,多跳塌方

Mirendil 用的是英伟达研究团队提出的长上下文基准 RULER,跑法是贪心解码、关闭思考、精确字符串匹配。每个格子平均 100 个样本,10M 位置只用 20 个样本。官方在 Fern 公告里给出的完整表格对应的是基座模型 Mirendil-Base,后训练版本 Fern 0.1 在同一位置的对外口径为单针 100%、多键 90%、多跳 45%。

RULER 任务(Mirendil-Base) 32K 128K 512K 1M 2M 4M 10M
单针检索 100 100 100 100 100 100 100
多键检索 100 95 98 98 100 98 90
多键全针 100 100 100 100 95 100 100
变量追踪 100 100 99 95 83 75 100
多跳问答 HotpotQA 65 62 65 65 62 60 45

表里可以读出两件事。检索这一侧很稳,单针检索在 32K 到 10M 全程满分,多键全针在 10M 也是 100,说明装进去的东西找得回来。但推理这一侧明显退化,多跳问答在 4M 还有 60 分,到 10M 掉到 45 分,接近一半的多跳问题答不出来。多跳要求把散落在窗口各处的线索连起来,难度更接近真实工作。

变量的分布是另一个信号。变量追踪在 2M 掉到 83、4M 掉到 75,到 10M 却又回到 100,这个反弹不合常理。10M 位置的样本只有 20 个,几个答案的变化就能让分数动好几个点。官方自己也承认完整的长时间上下文结果还要等后续发布。所以那些数字更适合当作方向性参考,而不是可以直接拿来做采购决策的基准。

这轮成绩放在行业坐标里看,讯飞星火 X2.6 做到了 100 万 Token 上下文,斯坦福与伯克利团队的 TokenGate 在长上下文预填充上提速 11.3 倍,Fern 的窗口数字是它们的十倍,代价是这个多跳分数还没有第三方复现。

Agentic 编码榜:与前沿模型差 30 分

Mirendil 自己的发布表格同时给出了编码智能体基准。横向对比的对象是 Beam、GLM-5.3、Kimi-K3、GPT-6 Astra 与 Claude Opus 5.5。

基准 Fern 0.1 Beam GLM-5.3 Kimi-K3 GPT-6 Astra Claude Opus 5.5
DeepSWE v1.1 44.2 43.3 66.9 67.3 74.1 74.2
Terminal Bench 4.0 6.1 3.0 41.9 12.6 57.9 66.4
SWE Atlas QnA 53.2 31.8 59.4 66.1 59.1 66.4
SWE-Pro v2 Hard 76.5 76.5 84.3 88.2 90.2 100.0
SWE-Bench Verified 73.4 81.6 95.4 93.4 86.0 98.2

Terminal Bench 4.0 这一行差距最大,6.1 分对 66.4 分。DeepSWE v1.1 上 Fern 0.1 得 44.2 分,比前沿的 74 分低约 30 分。不过 SWE-Pro v2 Hard 上 Fern 的 76.5 分与 Beam 持平,把几列放在一起看,结论是它是一个长上下文阅读器,还不是一个通用编码智能体。

对照 Nanbeige4.3-33B 在 Terminal-Bench 拿到 80.9 分 与 Drex for Search 用 6 项基准省下 62% 步数 这类工作,Fern 的编码分数并不占优,它的赌注押在了另一个维度上。

从零预训练:一个人加智能体三个月

Mirendil 在 10 月 21 日单独发过一篇文章,讲 Mirendil-Base 是怎么训出来的。一名研究员,3.5 个月,算力开销低于 1000 万美元。这个数字是全包的,包含智能体的 token 花销与数据处理,没有使用蒸馏,也没有购买或授权任何额外数据。

智能体写掉了超过 99% 的代码,跑实验、诊断故障,研究员负责决定试什么、信什么,以及在需要时介入。训练基础设施、模型架构、训练算法与数据流水线都是从空仓库起步,只依赖 PyTorch、JAX 这类通用库。训练数据全部来自 GitHub 与其他公开可得的代码、网页和公开数据集。

官方用 bits per byte 这个指标对比了五个模型,参数规模分别是 Kimi-K3 2.8T 总 104B 激活、Nemotron-550B-Base 550B 总 55B 激活、GLM-5.3 753B 总 40B 激活、DeepSeek-V4-Pro-Base 1.6T 总 49B 激活、Inkling 975B 总 41B 激活,五者都是混合专家架构。在七个外部仓库的平均值上,Kimi-K3 是 0.193,Mirendil-Base 是 0.222,其余三个对比模型落在 0.242 到 0.247 这个区间。bits per byte 越低越好,这个差距说明在纯代码预测这一件事上 Fern 还落后一档,而官方也提示 Kimi-K3 与 GLM-5.3 都是后训练模型,在这项指标上通常比各自的基座版本略差。

三款模型的进度与获取方式

Mirendil 同时在训三个尺寸。Fern 0.1 基于 Mirendil-Base,参数 0.1T 到 0.5T,文本与代码输入,是唯一公布了上下文数字与基准成绩的版本。Mirendil-Base-Large 参数 0.5T 到 2T,预训练进度超过 80%。Mirendil-Base-XL 参数 2T 到 10T,进度约 19%,当前水平已经接近 Large。

获取方式是当前最大的限制。官方页面写的是 coming soon,只有一个早期访问申请表单,没有公开 API,没有价格,没有许可证,也没有可下载的权重。换句话说,这篇文章里的所有基准数字目前都来自 Mirendil 自己的公告,外部读者暂时无法验证。

还有一个细节值得留意。Fern 0.1 是在 Mirendil-Base 基础上做了一轮短周期后训练得到的版本,官方说新版本会频繁发布。这意味着 0.1 这个版本号更像是持续迭代的起点,而不是一个稳定的产品形态。

常见问题

1000 万 Token 上下文现在能用吗

不能。Mirendil 只接受早期访问申请,没有开放 API、定价、许可证与权重下载。想验证这些基准数字,目前只能等官方放出门槛。号称提供 Fern 0.1 接入的第三方服务需要格外谨慎。

1000 万 Token 是不是越大越好

从 Mirendil 自己的数据看,不是。检索类任务在 10M 依然满分,但多跳问答从 4M 的 60 分掉到 10M 的 45 分。窗口长度决定了能装下多少材料,不决定模型能否把这些材料用起来。这也是为什么 AKV 缓存工程把智能体成本压低 27.7% 这类优化在实践中往往比单纯加窗口更划算。

Mirendil 这个团队可信吗

可以查证的部分相当硬。创始团队 20 人来自 Anthropic、xAI、Google DeepMind 与 OpenAI,种子轮 2 亿美元由 a16z 与凯雷领投、NVIDIA 参与,Google Cloud 的多年期合作有官方公告和 Google 首席技术官 Amin Vahdat 的具名引述。风险点也很清楚,全部成绩均为自报,模型未开放,无第三方复现,RULER 在 10M 位置每格仅 20 个样本。

小结

Fern 0.1 把两件事摆在了同一张表上。一边是 1000 万 Token 上下文与满分单针检索,证明长窗口的工程可行性已经成立。一边是 45 分的多跳问答与 6.1 分的 Terminal Bench,说明窗口装得下和用得起来之间还有很长的距离。官方选择同时公布两组数据而不是只公布好看的部分,这种做法本身值得肯定。

这条路线的赌注很明确。上下文作为算力的第二种花法,如果成立,受益的是需要一次性读入整个代码库、整份训练集、整条智能体轨迹的场景,这类工作今天确实只能靠切块加检索来凑。Mirendil 想做的是 AI 工程师用来调试 AI 的工具,把模型本身变成被审计对象。能不能做成,取决于后续两个版本能不能把多跳分数拉起来,以及 API 何时开放。

相关阅读