谷歌更新Android Bench:Gemini 4 Argon通过率21.3%

10 月 26 日,谷歌更新了用于评估模型安卓编程辅助能力的 Android Bench 榜单,本次更新中自家 Gemini 4 Argon 的成绩明显落后于最新版的 Claude 与 GPT 系列模型,排在第五位。

第一是 Claude Sonnet 5.5,通过率 40%

Android Bench 于今年年初推出,面向安卓开发者对照测试标准挑选代码辅助模型,测试会考量安卓开发的特有场景与最佳实践。谷歌在持续测试并纳入新模型排名的同时,把平均调用成本也纳入基准指标。本次更新新增标注了每个模型所采用的推理等级,并补充了 OpenAI 的 GPT-6 Sol、GPT-6.1 Sol、Claude Sonnet 5、Claude Sonnet 5.5 以及谷歌 Gemini 4 Argon 的测试结果。

成本差 15 倍,Gemini 4 Argon 卡在 21.3%

榜单第一为 Claude Sonnet 5.5,通过率 40%,完成率 80.9%;10 月初加入榜单的 Claude Opus 5.5 位列第二。OpenAI 的 GPT-6.1 Sol 是本次最受关注的新增模型,通过率 29.3%,完成率 82.8%,调用成本仅 99.50 美元,而排名第一的 Claude 调用成本高达 1574.90 美元。谷歌自家的 Gemini 4 Argon 首秀表现平平,通过率只有 21.3%,完成率 81.8%,平均调用成本 267.70 美元,甚至不及 Claude Fable 5.1。谷歌官宣该模型后不久,就有内部消息称它难以处理部分编程任务。

值得注意的是本次更新首次标注了每个模型采用的推理等级。同一家模型在不同的推理档位下得分可以相差明显,不标注档位就直接对比跑分,结论容易被误读。谷歌把推理等级一并公开,等于把这份榜单从单纯的分数榜往可复现的对照表方向推了一步。

基准分数与调用成本同时摆在榜单上,反映的是模型选型开始从单一跑分转向单位任务成本,这与谷歌近期的模型发布节奏形成呼应,可对照Google Genie 4 发布一文。