英伟达 Realtime-Bench:GPT-6-Astra 成功率仅 44%

11 月 5 日,英伟达联合得克萨斯大学奥斯汀分校等机构发布实时交互基准 Realtime-Bench,对 12 款前沿模型做了一轮测试,结果是按真实推理耗时推进环境的场景下,表现最好的 GPT-6-Astra 任务成功率也只有 44%。

基准怎么设计

这套基准收录 50 个任务,覆盖八类场景,考察的是实时感知、时间自适应推理与行动时机把握三类能力。测试过程设置三种不同的环境推进时钟协议,用来剥离外部干扰,把模型本身的动态处理能力单独测出来。

三项结论都不太乐观

按真实推理耗时推进环境这一最严苛的条件里,最优模型 GPT-6-Astra 的任务成功率为 44%;而在高推理强度下,模型三次全部成功的概率只有 36%。研究还给出三条发现:推理强度与成功率并非线性正相关,实时任务里盲目拉高推理强度未必提高成功率;模型必须在思考深度与行动时机之间做取舍;单纯缩短推理延迟,也解决不了现实中的全部实时交互难题。

为什么值得看

实时交互是智能体真正落地的主战场,也是过去一年被基准榜单长期忽略的一层能力。这类把评测从静态题目拉到动态环境的做法,正在成为衡量智能体的新尺度,与 普林斯顿 SSoN 空间基准 关注人机差距的思路可以对照着看。