10 月 26 日,谷歌更新了用于评估模型安卓编程辅助能力的 Android Bench 榜单,本次更新中自家 Gemini 4 Argon 的成绩明显落后于最新版的 Claude 与 GPT 系列模型,排在第五位。
第一是 Claude Sonnet 5.5,通过率 40%
Android Bench 于今年年初推出,面向安卓开发者对照测试标准挑选代码辅助模型,测试会考量安卓开发的特有场景与最佳实践。谷歌在持续测试并纳入新模型排名的同时,把平均调用成本也纳入基准指标。本次更新新增标注了每个模型所采用的推理等级,并补充了 OpenAI 的 GPT-6 Sol、GPT-6.1 Sol、Claude Sonnet 5、Claude Sonnet 5.5 以及谷歌 Gemini 4 Argon 的测试结果。
成本差 15 倍,Gemini 4 Argon 卡在 21.3%
榜单第一为 Claude Sonnet 5.5,通过率 40%,完成率 80.9%;10 月初加入榜单的 Claude Opus 5.5 位列第二。OpenAI 的 GPT-6.1 Sol 是本次最受关注的新增模型,通过率 29.3%,完成率 82.8%,调用成本仅 99.50 美元,而排名第一的 Claude 调用成本高达 1574.90 美元。谷歌自家的 Gemini 4 Argon 首秀表现平平,通过率只有 21.3%,完成率 81.8%,平均调用成本 267.70 美元,甚至不及 Claude Fable 5.1。谷歌官宣该模型后不久,就有内部消息称它难以处理部分编程任务。
值得注意的是本次更新首次标注了每个模型采用的推理等级。同一家模型在不同的推理档位下得分可以相差明显,不标注档位就直接对比跑分,结论容易被误读。谷歌把推理等级一并公开,等于把这份榜单从单纯的分数榜往可复现的对照表方向推了一步。
基准分数与调用成本同时摆在榜单上,反映的是模型选型开始从单一跑分转向单位任务成本,这与谷歌近期的模型发布节奏形成呼应,可对照Google Genie 4 发布一文。
延伸阅读
- Gemini 3.7 Flash 正式发布,三周迭代编程大涨,API 价格直接腰斩2 月前
- AI benchmarks 2026:MMLU 退役,ARC-AGI-3 接棒1 月前
- 谷歌EmbeddingGemma2开源:740M塞进手机,跨模态检索轻量跑3 周前
- 谷歌 Antigravity 用 AI 加速抗菌肽发现:对抗超级细菌的新武器2 周前
继续读
同一批更新里这几篇值得一看:
- 皮查伊称 75% 代码由 AI 生成 距递归自我改进还很远2026-10-24
- 谷歌芬兰清林 25 万棵树建数据中心,监管责令 10 月 23 日停工2026-10-24
- Gemini 4 Argon 上线 72 小时吞 25 万亿 Token2026-10-24
想快速查定义?对应的词条在这里:
- Gemini 4词条 · AI 自学笔记
