10 月 18 日，来自微软与香港城市大学的研究团队正式发布 AI agent 战略决策基准 Taste-Bench，旨在衡量大模型在长时任务中的真实决策能力。论文同步在 arXiv 公开，模型排行榜已在项目主页上线。结果显示，即便是当前最强模型，在简单二元判断题中的正确率也不到 60%，且延长「思考」时间并不能改善表现。
测试设计：200 道战略选择题，模拟软件工程与研究真实路径
研究团队构造了 200 道需要 agent 在多步骤任务中途做出判断的选择题，覆盖软件工程（如代码路径选择、依赖版本决策）与学术研究（如假设验证策略、实验设计）等典型场景。每道题提供两个选项，模型需选出长期收益更高的路径。结果显示，GPT-5.6 Sol 在简单二元题中正确率略低于 60%，Claude Opus 5.5 与 Gemini 3.8 Ultra 均未超过 55%，o4-mini-high 排名最末。
延长思考时间无助于改善决策质量
与传统认知相反，延长模型「思考」时间（Chain-of-Thought）并未带来决策准确率的提升。团队在控制推理 token 预算的情况下重复测试，发现准确率与思考时长几乎无关。研究人员认为，这表明现有模型的战略推理存在系统性局限，而非简单的算力或时间问题。团队已将 Taste-Bench 评测代码与数据集开源，供学术界与产业界评估 agent 规划能力参考。
开源评测框架：可复现所有测试流程，呼吁行业共同迭代
研究团队同步开源了 Taste-Bench 的完整评测框架与 200 道评测题目，涵盖自动化评测脚本与人工评估接口，支持模型方自行在本地复现测试结果。团队呼吁更多模型开发商与研究机构参与评测，推动行业对 agent 战略推理能力的共识建立。
延伸阅读
- Anthropic发布Sonnet 5.5：编码基准10.3%升至70.6%，成本降30%2 周前
- 微软成立 XBOX Labs 团队：AI 辅助游戏反编译获夏尔马点赞5 天前
- 美国地方媒体诉微软OpenAI版权案：6家出版商索赔数十亿，版权法能否撬动大模型1 周前
- 微软联手英伟达推RTX Spark AI电脑：起售价2600美元1 周前
AI 自学笔记 每天更新 AI 前沿动态，订阅 RSS，或按 Ctrl/⌘+D 收藏本站，明天见。
继续读
同一批更新里这几篇值得一看：
- 微软推出 PRAISE：联手卡内基梅隆重塑 AI 时代工程师培养2026-10-17
- Win11 年度更新：内存管理优化响应提速 20%，8GB 电脑额外释放 200MB 内存2026-10-16
- 微软Copilot AI智能体突破：不换底层模型，响应提速400%费用降三成2026-10-15