Gemini 4 Carbon 登顶数学榜:成本 15 倍于 GPT-6.1

在 11 月 14 日公布的数学基准 MathArena 榜单上,Google 的 Gemini 4 Carbon 拿下第一名,把此前的榜首 GPT-6.1 Sol 挤到第二,Claude Fable 5.2 排第三。这是有一段时间以来第一个把 OpenAI 模型拉下数学基准头名的非 OpenAI 模型,公开可用模型在数学任务上的能力上限被重新抬高了一档。

榜单成绩好看了,成本也上来了。Gemini 4 Carbon 在 MathArena 上跑完的花费,大约是 GPT-6.1 Sol 的 15 倍。这个差距意味着它在这类需要长链条推演的数学任务上,把更多算力换成了准确率,把预算压力留给了调用方。对做数学能力评测、题目求解和自动证明的团队来说,能不能用得起和能不能用得准现在是两个独立问题。同系列的Gemini 4 Carbon 让 iPhone 跑 Win11走的是本地部署路线,与这里的云端榜单成本是两种完全不同的账。


主要失败模式是超时,而不是算错

和很多模型在数学题上算出一个错误答案不同,Gemini 4 Carbon 最常见的失败模式是超过时间限制。它还有一个很显眼的习惯,就是几乎不放弃任务。这个特性可以往两个方向解读,往好的一边看是不轻易认输,往坏的一边看就是会把成本越推越高。

一个被记录下来的案例很有代表性:在某次评测中,模型启动了一个脚本,跑超过 11 个小时都没有回头检查进度。多花出去的算力换来了什么,取决于那次任务到底有没有产出可用结果。评测集里的超时判定只记失败,不记这种额外消耗,所以榜单分数和真实账单之间会出现明显落差。


15 倍成本差该怎么算

评估这类模型,实际账单通常由输入长度、输出长度、采样次数和重试轮数共同决定,其中重试往往是最大的变量。一个会反复重算到超时的模型,实际消耗可能远高于 15 倍的名义差距,反过来如果不开启重试,成功率又会明显下滑。

可行的做法是先按题目类型分层。短链路的整数与代数题用低成本模型兜底,只有需要多步证明和构造的部分才路由到 Carbon。同时把超时和重试次数都纳入监控指标,而不是只看一次通过率。对数学推理这类任务,这套分层策略带来的成本节省,通常比单次换模型更明显。

全部文章归档与模型专题