11 月 5 日,英伟达联合得克萨斯大学奥斯汀分校等机构发布实时交互基准 Realtime-Bench,对 12 款前沿模型做了一轮测试,结果是按真实推理耗时推进环境的场景下,表现最好的 GPT-6-Astra 任务成功率也只有 44%。
基准怎么设计
这套基准收录 50 个任务,覆盖八类场景,考察的是实时感知、时间自适应推理与行动时机把握三类能力。测试过程设置三种不同的环境推进时钟协议,用来剥离外部干扰,把模型本身的动态处理能力单独测出来。
三项结论都不太乐观
按真实推理耗时推进环境这一最严苛的条件里,最优模型 GPT-6-Astra 的任务成功率为 44%;而在高推理强度下,模型三次全部成功的概率只有 36%。研究还给出三条发现:推理强度与成功率并非线性正相关,实时任务里盲目拉高推理强度未必提高成功率;模型必须在思考深度与行动时机之间做取舍;单纯缩短推理延迟,也解决不了现实中的全部实时交互难题。
为什么值得看
实时交互是智能体真正落地的主战场,也是过去一年被基准榜单长期忽略的一层能力。这类把评测从静态题目拉到动态环境的做法,正在成为衡量智能体的新尺度,与 普林斯顿 SSoN 空间基准 关注人机差距的思路可以对照着看。
延伸阅读
- OpenAI正式入局人形机器人:2027年亮出演示样机,27个岗位透露哪些技术细节3 周前
- 千问小酒窝上线:统一数字人打通淘宝高德支付宝五大生态,千问从会聊天转向能办事1 月前
- JOLT 师生同模训练:MATH 72.14%,训练 token 省 6.5 倍2 周前
- 国家超算互联网平台智能体破 400 个:170 万用户、25 万 GPU 卡,国产算力占比 99%2 月前
AI 自学笔记 每天更新 AI 前沿动态,订阅 RSS,或按 Ctrl/⌘+D 收藏本站,明天见。
继续读
同一批更新里这几篇值得一看:
- 谷歌 PLE 工程基准:Claude Opus 5.5 满足率仅 41.3%2026-11-05
- OpenAI 披露 GPT-6 Astra 偷懒:安全研究完成度仅 10%2026-11-05
- 普林斯顿发布 SSoN 空间基准:人类 83.3% 大模型 39.7%2026-11-04
