普林斯顿发布 SSoN 空间基准:人类 83.3% 大模型 39.7%

11 月 4 日,普林斯顿大学 AI Lab 团队推出空间智能基准 SSoN,官方公布的第一组结果显示:人类在四选一挑异常的空间题上准确率高达 83.3%,而受测的主流视觉语言模型最高只有 39.7%,多数模型甚至低于四选一的随机基线。

这个基准怎么考

SSoN 的任务逻辑很直接:给模型四张静态的室内场景图,让它挑出那张不属于同一场景的异常图。这种设计刻意剥离了动态交互与动作控制的干扰,只检验静态跨视角下的三维空间理解能力。人类能靠直觉和生活经验识别出空间逻辑上的不协调,模型面对同样的题则明显吃力。

普林斯顿团队把失败原因拆成三类。第一是几何推理短板,在涉及物体相对位置移动、视角旋转的场景里错误率最高。第二是知其然不知其所以然,模型少数选对的题里接近三成的推理解释在逻辑上根本不成立,属于蒙对答案。第三是整体表现不及随机盲猜,多数受测模型的综合准确率低于四选一随机基线,说明它们还没建立稳定的三维空间直觉。

定向微调能让准确率近乎翻倍

团队随后做了干预实验。用文字提示引导或引入传统三维重建流程,只能带来小幅提升;直接提供真实相机参数后表现大幅改善,但依然没能稳定答对一半以上的题目。真正有效的是针对该任务做定向监督微调,在没见过的全新房间测试题上,准确率实现近乎翻倍的飞跃。

这个结果的意义在于,它把空间智能的短板从”模型天生不行”改写成了”训练方式不对”。视觉语言模型的多模态感知训练大多来自二维图文对,跨视角的三维一致性需要单独设计目标和数据,而定向监督微调正是补上这一段的低成本路径。相关的方法论脉络可以对照大晓机器人 ACE-Brain-0.6 的空间感知评测来看,那条路强调的是把空间落地能力做成可度量的指标,而不是只比通用榜单分数。