MKA 多模态知识智能体基准：200 任务实测 4 模型成本差 16 倍

一句话结论：Google DeepMind 联合 Artificial Analysis 推出的 MKA（Multimodal Knowledge Agent）基准用 200 个真实职业任务证明，前沿智能体的交付质量差距只有 2.3 个百分点，但每任务算力成本差距高达 16 倍。视觉能力在这里决定的是成本。

2026 年 11 月 10 日，Google DeepMind 在官方博客发布 Multimodal Knowledge Agent（MKA）基准，同时公开了完整技术报告。这套基准专门考一件事：智能体能不能读懂那些「信息藏在图里」的工作文件，并且交出一份能用的交付物。

它之所以值得关注，不在于又一张榜单，而在于它改了一个被长期默认的假设。多数多模态基准的题目是选择题和短答案，MKA 要求模型输出独立的 .xlsx、.pptx、.pdf、.docx、.html、.png 文件，并且 88% 的任务必须交文件。这意味着视觉能力要在读输入和写输出两端同时起作用。

更关键的发现来自一组对照实验：把智能体的看图工具摘掉，主流的 GDPval 基准分数纹丝不动，MKA 的 Climb-WSR 却掉 5.94 个百分点，同时 token 消耗涨到 1.85 倍。视觉能力要花钱，但省下的钱更多。

MKA 是什么：200 个任务如何拼出来

MKA 的设计逻辑不复杂，但执行标准很硬。200 个任务均匀分布在 10 个经济行业，每个行业 20 个，覆盖 83 种职业，从持牌建筑师、财务投资分析师到放射科医师、法务移民律师、GIS 土地测量员。任务作者全部是至少有五年从业经验的从业者，每道题还由同岗位的第二位专家复核真实性与准确性。

单道题的输入是 2 到 45 个异构文件，全库合计 1459 个，均值 7.3 个、中位数 6 个。文件类型分布能看出这个基准想考什么：

交付物侧的分布同样具体：PDF 报告 45 个任务（22.5%）、Word 文档 42 个（21.0%）、演示文稿 34 个（17.0%）、电子表格 32 个（16.0%）、文本报告 30 个（15.0%）、图像与图表 9 个（4.5%）、交互式网页应用 8 个（4.0%）。剩下 24 个任务（12.0%）直接在对话里回答。

评分机制是这套基准的技术核心。200 道题一共 14284 条评分标准，每题均值 71.4 条、中位数 68.5 条、最多 150 条。每条标准带 1 到 5 的权重，94.5% 标为主要目标、5.5% 标为次要目标，29.5%（4217 条）显式列出前置依赖，形成有向无环图。99.6% 的标准配有专家撰写的「黄金理由」，指明答案在源文件中的具体位置。

作者投入也说明了成本量级：一位专家做一道题要花 3 到 8 小时，包括搭建输入文件集、做出参考交付物、写出评分标准。14284 条标准人工逐条判分不现实，所以评分交给了沙箱化的智能体评审器（Agentic Autorater），它会真的渲染页面、检查表格公式、拆开文档内部结构。

四个模型跑完 200 题：质量差 2.3 分，成本差 16 倍

参与评测的是 Gemini 4 Carbon、Claude Fable 5.2、Claude Opus 5.5 和 GPT-6 Astra，全部在 Artificial Analysis 的 Stirrup 统一 harness、同一容器环境、同一 turn 预算（250）下各跑一遍。头条指标叫 Climb-WSR，也就是只统计「难的那部分」标准：用一个固定的四模型面板（Gemini 3.8 Flash、Gemini 3.6 Flash、Claude Sonnet 5.5、GPT-6.1 Sol）做 2/3 通过判定，面板全过的标准算回归项（7888 条里外加 6396 条回归标准），其余算爬坡项（7888 条）。

读这张表要注意两件事。第一，前三名在统计上分不开。Fable 5.2 比 Carbon 高 2.22 个百分点，95% 置信区间是 −0.94 到 +5.49，跨过零点；Carbon 比 Opus 5.5 高 1.33 个点，区间同样跨零。只有 Carbon 对 GPT-6 Astra 的领先（+4.10 个点，区间 +1.00 到 +7.11）不跨零，是真实差距。

第二，四个模型的回归项全部在 95% 以上（95.17% 到 96.36%）。这说明格式、字段这类基础检查早就被解决，前沿模型的差异全部集中在爬坡项上。最高分也只到 56.56%，离饱和还很远。

真正的分野出现在成本表里：

Fable 5.2 用掉 40.48M token，是 Carbon 的 5.74 倍；输出 token 2.93 倍，turn 数 2.76 倍，墙钟时间 2.85 倍。按各家挂牌价折算，每任务 35.28 美元对 5.63 美元，成本差 6.26 倍。换来的是 2.22 个百分点的质量优势，而这个优势在统计上不显著。

GPT-6 Astra 是个有意思的反例。它总 token 只有 2.43M，是 Carbon 的 0.35 倍，turn 数 29.0 也是最少，但因为单 token 挂牌价更高，最终每任务成本 6.03 美元反而略高于 Carbon 的 5.63 美元，而质量低 4.10 个点。token 便宜不等于总账便宜，单价乘以消耗才是真实成本。

把所有点连起来就是一张帕累托前沿：GPT-6 Astra、Carbon、Fable 5.2 在曲线上，Carbon 位于前沿的拐点处。用同样的钱买到多少分，是这张图比排行榜排名更有用的地方。

关键实验：摘掉看图工具会怎样

这套基准最有说服力的部分是一个对照实验。Google DeepMind 让 Gemini 4 Carbon 在同一套 250-turn 的 Stirrup 环境里跑两遍，一遍保留 view_image 工具，一遍把它摘掉。摘掉之后智能体仍保有 code_exec、web_search，以及预装的解析、OCR 和计算机视觉库，它照样能把文档转成文本、解析表格、写自己的图像分析脚本。

这张表把两类基准的差别摆得很清楚。GDPval 的关键信息都在表格和可机读文本里，摘掉看图工具对分数和算力都没有影响。MKA 则不然，Climb-WSR 掉了 5.94 个点，降幅是回归项降幅的 3 倍以上，同时轨迹被撑大：输入 token 涨到 1.85 倍，输出 token 涨到 1.40 倍，turn 数涨到 1.28 倍。模型被迫用更长的路去绕。

绕的方式比预想的更极端。论文里提到，摘掉视觉工具后的 Carbon 绕路的方式出乎意料，它把图像裁剪渲染成 ASCII 艺术或者终端里的 Unicode 盲文块，再配合 OpenCV 搭一套专门的一次性视觉管线。在干净机械制图上，ASCII 渲染加 OpenCV 测量偶尔能恢复出主要几何形状，但会漏掉细小的间隙风险，而且要多花 1.8 到 4.6 倍的 token 与 turn。

到了自然照片和医学影像上就是彻底失败。道路巡检照片、临床超声与 X 光片、电路板照片，几十段 OpenCV 和 ASCII 脚本仍然读错细微的视觉结构，Climb-WSR 直接掉 34 到 72 个百分点，算力反而多花 1.8 到 5.8 倍。编码能力强可以部分替代视觉，但替代不了。

评分器靠不靠谱：96.2% 一致率和 3.8% 的错误构成

整套基准的地基是自动评审器准不准。Google DeepMind 拿 50 个任务做人工对照，结果是评审器与人类专家在逐条标准上的成对一致率 96.2%（区间 94.7% 到 97.6%），加权 Cohen’s κ 为 0.911，任务级 Pearson r 为 0.966、Spearman ρ 为 0.931。作为参照，人际一致率的上限是 99.8%。

反向看错误构成更有信息量。把人类多数票当作真值，评审器每条标准的错误率是 3.8%（约每 26 条错 1 条），拆开是误放行 2.4%（约 7.1% 的条件误放行率）和误判失败 1.4%（条件误判失败率 2.1%）。误放行主要来自边界宽松，比如答案取了替代值或漏了必需标签但语义等价时仍然放行；误判失败则来自字符串与结构匹配过严，以及对交互式交付物只做静态代码检查而不实际运行。

作者也承认 96.2% 这个数字的适用范围有限：人工研究只覆盖 50 个任务，且聚焦权重 3 到 5 的高权重标准，评审器与评测模型各只跑一遍，置信区间覆盖的是任务抽样而非运行间方差。

谁能用上 MKA

数据集本身是私有的，200 道题由 Artificial Analysis 保管，理由是防止泄漏进训练数据，也防止模型通过搜索直接找到题目。另有 10 个公开任务放到了 Hugging Face 上，格式与私有集一致，任何人可以看到题型并自测自己的智能体。评测入口在 Artificial Analysis 的 MKA 页面，各家可以提交自己的模型跑同一套 200 题。

对普通开发者而言，这套基准更像一份选型清单。它的实际用途是回答「我该选哪个模型跑长流程任务」。同样是每任务几美元的预算，Carbon 的交付质量与 Fable 5.2 统计上打平，成本只有六分之一；同样要交 Excel 和 PPT 的场景，一个模型能用 46.6 个 turn 搞定，另一个要 128.8 个。

另一层用途是评估自己的智能体管线。如果摘掉看图工具后你的分数不掉，说明你的流程根本没在做视觉工作，多半是靠 OCR 和脚本在硬啃；如果掉了 30 个点以上且 token 翻倍，那说明你的智能体在用代码绕路，绕开了眼睛。顺着这个逻辑排查，能省下相当可观的钱。

MKA 也把一个常被回避的事实摆到台面上：四个最强模型在难项上都卡在 50% 到 57% 之间。视觉理解加上多步工具调用，仍然是当前智能体最薄弱的环节，距离能真正替代专业人士还有很大距离。

常见问题

MKA 和 GDPval 有什么不一样

GDPval 覆盖 44 种职业，但关键信号大多能用 Python 脚本和 OCR 直接抽出来，不强制视觉检查。MKA 要求跨文件、跨模态综合，并且 88% 的任务要交出可验证的独立文件。MKA 还把任务难度拆成爬坡项和回归项，头条指标只考难的那部分。

Gemini 4 Carbon 比 Claude Fable 5.2 更好吗

质量上两者统计上分不开，Fable 5.2 领先 2.22 个百分点但置信区间跨零。成本上 Carbon 明显占优，每任务 5.63 美元对 35.28 美元，单任务成本差 6.26 倍。如果预算敏感，Carbon 是更实际的选择；如果只看最高分，Fable 5.2 略高但优势不显著。

普通开发者能直接跑 MKA 吗

不能完整跑。200 道私有任务由 Artificial Analysis 保管，无法自行复现分数。开发者能做的是拿 Hugging Face 上的 10 个公开任务自测智能体，或者把自己的模型提交到 Artificial Analysis 的 MKA 评测页跑完整 200 题。

小结

MKA 带来的最大提醒在于前沿智能体之间的成本差可以大到 16 倍，质量差却只有几个百分点。同一道题，模型之间对「难项」的理解水平接近，但走完流程的算力消耗完全不同。摘掉视觉工具后的对照实验进一步说明，多模态能力不只是锦上添花，它直接决定智能体是用眼睛看，还是用脚本绕。

官方同期发布的 Gemini 4 Carbon 正式开放 把这套结论落到了可用性上，Carbon 已按 $2 每百万输入 token、$10 每百万输出 token 的首发价向开发者和企业开放，并进入 Gemini Omni 1.2 Flash 等产品线。同一天，Claude Fable 5.2 也出现在同一张 MKA 榜单上，两者的价格与成本差异可以一并对照。评估方法本身的严谨度也可参考 AlphaProof Code 验证 Signal 与 普林斯顿 SSoN 空间基准 对基准口径的处理方式。