普林斯顿 SSoN 空间基准:人类 83.3% 与大模型 39.7% 的差距

一句话结论:普林斯顿大学 AI Lab 推出的跨视角矛盾基准 SSoN 用 1000 道四选一室内场景题测出,当前最强视觉语言模型 GPT-6 Astra Pro 只有 39.7% 的答案准确率,人类是 83.3%,而且 29.5% 的正确选择拿不出有效证据。

2026 年 10 月 9 日,普林斯顿大学 AI Lab 团队把 Same Space or Not(简称 SSoN)基准和对应的微调权重放了出来。这套题考的是一件听起来很基础的事:给你四张同一个房间的照片,三张是真的,一张被人动过手脚,你能不能指出哪一张不对劲,并且说得出理由。

题目本身不难。难的是当前主流视觉语言模型在这件事上的表现。六个被测模型里,只有 GPT-6 Astra Pro 拿到了高于随机基线的成绩,其余五个全部低于 25% 的四选一随机线。其中最强模型在旋转类题目上的准确率是 7.23%,六款模型在这个类别的最高值是 9.54%,而人类在旋转类上的准确率是 76.01%。

SSoN 考的是什么:跨视角的一致性归因

过去几年关于空间智能的基准测过很多东西。3DSRBench 测三维关系与视角鲁棒性,SpinBench 测旋转与视角转换,VSI-Bench 测视频里的空间记忆,MMSI-Bench 和 MindCube 测跨视角的空间关系与心理模型,DSI-Bench 测模型能否区分观察者运动与物体运动。ESI-Bench 则走另一条路,看模型在具身交互中主动获取有效观察的能力。

SSoN 把靶心收窄到一个此前很少被单独拎出来检验的点:模型能不能在一组视图里维持同一个场景的一致表征。

这里的关键区别在于归因。已有的成对不一致检测方法(例如 Khangaonkar 等人 2026 年的工作)能发现两张图对不上,但无法判断哪一张是错的,因为在没有第三方证据的情况下两张图互有嫌疑。冲突的发现和冲突的裁决,是两件事。

SSoN 的任务形式是集合级归因。四张图里三张来自同一个未被修改的三维场景,一张来自经过受控编辑的变体。模型要找出那个异类视图,还要解释矛盾在哪里。题目不指定参考图,也不标出被改动的物体是谁。

这里有一个设计上的狠招:题目会加入看起来像被改过、实际没被改过的干扰视图。这些干扰来自三种机制叠加。取景与遮挡造成非观测,比如某个物体其实在房间里,只是被别的家具挡住了没拍到。场景重叠引入了新可见内容,比如换了个机位,视野里多出一件之前没出现的东西。还有未改动物体自身在不同视角下的外观变化。

论文举了一个篮球的例子。四个视图 B 和 D 共同确认了篮球的位置,C 没拍到那个位置,还露出了其他视图都没出现的东西,这些都能用视角变化解释。A 拍到了篮球本该在的位置,但篮球仍然缺席。答案就是 A。判断的关键不在于找出哪张图看着不一样,而在于空间关系是否自洽。

1000 道题是怎么造出来的

题库来自七个室内场景源。Blender 渲染的有 3D-FRONT、Infinigen Indoors 和 SAGE-10k,Unity 环境的有 iTHOR、ProcTHOR、RoboTHOR 和 TDW。共享房间配置和组件让 iTHOR 与 ProcTHOR 无法稳定区分,两者合并报告为 383 道题,RoboTHOR 单独 107 道。

六个编辑类别分别是交换、移动、旋转、镜像、删除和细节变化。移动包含椅子拉出以及四分之一、半程、全程平移,旋转施加 30 度、45 度、60 度或 90 度,交换会交换位置并对齐朝向以避免出现正反面的显眼破绽,镜像反射整个房间配置但保留物体,删除拿走一个物体,细节变化则在对应位置改变身份、形状或外观,包括跨类别替换。

编辑幅度、物体大小和相机视角都会变。物体尺度按最长轴对齐包围盒边长分成小(小于 0.3 米)、中(0.3 至 1 米)、大(不小于 1 米)三组,分别是 276、568、156 道题。交换类用较大的那个物体,镜像类用能提供主要诊断线索的最大物体,所以保留下来的镜像题全部是大物体。

出题过程用了一套叫有效性引导的约束发现方法。超过 10000 道开发候选题在人工评审中被否掉,否掉的原因被转化成可复用的生成与校验规则。这些规则要求异常视图和至少两个正常视图在编辑区域暴露可辨识的特征并带环境参照,编辑区域的像素占比不低于 0.25%,目标物体在画面中的投影面积落在 0.4% 到 16% 之间。

每道题还要过三道人工检查。第一道由能看到答案和俯视图的评审确认物理完整性与诊断证据。第二道由没见过答案的评审先独立作答再核对答案,并检查是否存在其他合理选项。第三道专门排查捷径,包括孤立物体检测、物体清单、孤立外观差异、近乎对齐的像素比较,能靠这些方式解出来的题一律作废。

主结果:83.3% 对 39.7% 的落差

人类基线来自 10 名未参与出题的成年人,1000 道题随机分成 50 组每组 20 题,每人随机分配 5 组,最终得到 833 次正确选择,准确率 83.3%。注意这是单次判断的汇总,不是逐题多数投票。

六个模型的成绩差距非常大,而且不同题型的表现极不均衡。

类别(题数) GPT-6 Astra Pro 答案/有效 GPT-5.6 Sol Pro Gemini 3.5 Flash Claude Fable 5 Gemini 3.6 Flash Grok 4.5 人类
总计(1000) 39.70 / 34.90 24.20 / 16.90 20.60 / 11.60 19.30 / 13.10 18.70 / 11.90 14.30 / 8.00 83.30
交换(101) 92.08 / 85.15 58.42 / 55.45 46.53 / 37.62 39.60 / 31.68 34.65 / 33.66 22.77 / 19.80 97.03
移动(250) 27.20 / 20.40 14.40 / 4.00 13.20 / 2.00 14.00 / 7.20 16.00 / 3.20 12.00 / 3.20 71.60
旋转(346) 7.23 / 5.20 6.36 / 1.16 9.54 / 1.16 5.20 / 0.29 5.78 / 1.45 7.80 / 3.18 76.01
镜像(101) 64.36 / 56.44 24.75 / 15.84 19.80 / 11.88 24.75 / 18.81 23.76 / 19.80 23.76 / 13.86 95.05
删除(101) 61.39 / 57.43 42.57 / 31.68 30.69 / 20.79 31.68 / 23.76 29.70 / 23.76 22.77 / 15.84 98.02
细节(101) 83.17 / 78.22 56.44 / 50.50 41.58 / 35.64 42.57 / 36.63 37.62 / 27.72 15.84 / 10.89 97.03

交换和细节变化是模型的相对优势区。物体互换提供了身份与位置的对应线索,外观变化提供了直接的差异线索,六个模型在这两类上的准确率都高于各自的整体水平,Astra Pro 在这两类上均超过 80%。

移动和旋转是共同盲区。移动题最高只有 27.20%,旋转题最高 9.54%,而人类在这两类上都超过 70%。旋转与移动之间还差着一层:物体在画面里挪了位置,究竟是物体动了还是相机动了?房间里若有几把外观相同的椅子,模型必须先认准同一个实例,再结合桌子和墙面判断它的位置与朝向。认出物体、发现外观差异之后,还要跨过理解三维关系这一关。

论文的诊断实验还揭示了干扰视图的杀伤力。在开发阶段,把合法但容易误导的视图换成清晰的正面参照后,Astra Pro 在删除类上到 100%、交换类也到 100%,细节类接近满分,其余四个模型在删除、交换、细节三类上均达到至少 80%,移动类上 Astra Pro 从 30% 以下升到 60% 以上,其余模型各自至少翻倍。有干扰视图时,模型犯错明显集中在干扰项上,其占比超过任一普通锚点 30 个百分点以上。

选对答案,也可能是蒙对的

这是 SSoN 最有分量的设计。评测不只看选了哪张图,还看给出的解释是否成立。

六个模型合计 6000 次作答中,有 1368 次选对了视图。其中 964 次给出了充分且成立的证据,404 次没有,后者包括编造出的改动、过于含糊的说法,以及把视角效果当成真实编辑。把视角效果当成编辑这一类,在 1368 次正确选择中占了相当比例。

按有效解答口径重算,最强模型从 39.7% 掉到 34.9%。更能说明问题的一组数字是 Gemini 3.5 Flash,它的旋转类答案准确率 9.54% 在六个模型里最高,但有效解答率只有 1.16%,反而低于 Astra Pro 的 5.20%。选对次数最多不等于可靠识别矛盾的能力最强。

评审流程本身也做了严格设计。10 个独立席位用 Claude Opus 5 最高推理档筛查每个正确回答,投票 True solve、HALLUCINATION 或 DISPUTE,只有初始全票一致才进入更严格的三轮复审,每轮新增两个席位。全部十个席位一致才定级。所有选对的模型回答都额外经过不看模型的独立人工证据复核。论文也提醒,404 次不能直接等同于 404 次被观察到的幻觉,它是证据不充分的计数。

视觉相似度救不了场

既然只有一张异常图,那直接找出与另外三张最不像的那张行不行?研究者用 CLIP、ViT 和 DINOv2 系列共 17 个视觉编码器测了这个思路,规则是选平均余弦相似度最低的视图。

结果是 16.9% 到 21.7%,全部低于 25% 的随机线。交换类上这批编码器只有 5.0% 到 9.9%,而人类在这一类是 97.03%。表现最好的 RN50 和 RN50x64 都是 21.7%,CLIP 的 RN50x64 在移动类上能到 30.8%,但整体仍在随机线下。

这个结果把强干扰的作用讲清楚了:真正的新视角可能改变大片可见内容,真实编辑却可能只留下局部线索。依赖全局外观差异的选择规则,无法可靠地区分这两者。视觉上不寻常和空间上矛盾是两件事。

四种干预:提示、重建、相机参数与监督微调

研究者另外取 100 道题组成干预集做对比,基线准确率 24%、有效解答率 12%。

条件 答案准确率 有效解答率 移动类准确率 旋转类准确率
基线 24.00 12.00 10.00 11.11
比较引导 40.00 23.00 20.00 16.67
场景描述 37.00 29.00 20.00 22.22
编辑类别知识 44.00 32.00 30.00 16.67
比较加类别 48.00 34.00 25.00 22.22
三维重建流程 47.00 34.00 15.00 16.67
提供真实相机参数 61.00 48.00 70.00 38.89

比较引导让模型通过地标、实例对应、预期可见性和互相印证的视图来推理,准确率到 40%。场景描述要求模型先描述三维场景布局再决策,正确选择变少到 37%,但有效解答升到 29%。编辑类别知识直接告诉模型存在哪六类改动而不透露当前是哪一类,镜像和删除两类上准确率到 66.67%,细节类则与基线持平在 23.53%。

让模型实际跑一遍稀疏三维重建再检查相机视角,完整流程达到 47% 准确率、34% 有效解答率,超过基线 23 和 22 个百分点。但重建对位移和朝向帮助有限,移动题只对 3 道、旋转题只对 3 道。

真正有效的是把真实相机内参、外参和图像尺寸直接给模型。准确率 61%,有效解答 48%,移动类两项指标从 20% 双双升到 70%,14 次正确选择全部有有效证据。这说明相机几何能帮模型区分物体在画面里动了和物体在房间里动了。但即便拿到真实相机参数,这 100 题里有充分证据支持的正确回答仍不到一半。

训练侧的结论更乐观一些。用 Qwen2.5-VL-7B 做 LoRA 微调,训练/验证/测试按房间隔离为 700/99/201,视觉编码器与视觉合并器全部冻结,只训练语言解码器的秩 16 适配器,共 196 个模块、4040 万个可训练参数。

监督方式 总体(201 题) 交换 移动 旋转 镜像 删除 细节 95% 置信区间
零样本 21.89 14.29 23.53 23.88 25.00 18.18 20.00 [16.7, 28.1]
仅答案监督 33.33 47.62 31.37 32.84 30.00 45.45 15.00 [27.2, 40.1]
推理依据加答案 41.79 38.10 31.37 58.21 35.00 50.00 15.00 [35.2, 48.7]

答案准确率从 21.89% 提到 33.33%,加上推理依据监督后到 41.79%。最突出的是旋转类从 32.84% 跳到 58.21%,这 17 道新增正确答案几乎等于全部 201 道题上的净增量。论文明确写了统计口径:两个训练模型之间的差异是 46 道题只被推理依据监督答对、29 道题只被答案监督答对,配对检验 p 值为 0.064,加上每个条件只有一个训练种子,这个额外增益只能算提示性证据。

顺序敏感性仍然存在。把四张图的选项顺序循环替换,平均准确率从 35.3% 升到 38.9%,四种顺序全部答对的题目比例从 3.0% 升到 11.9%。

这条分数线对具身智能意味着什么

SSoN 测的是一个静态能力,但它恰好落在具身智能最缺的那一环上。相机动了场景可以没变,图像变了空间关系仍可能一致,这是所有需要把观察转成动作的系统每天都要处理的事。

对照几条现有的路线更清楚。大晓机器人 ACE-Brain-0.6 走的是把空间感知做成可度量指标的路子,在六项空间感知评测上超过 GPT-6 Astra;VISTA 框架给模型加视觉记忆,在 ARC-AGI-3 的 25 关上满分;华为诺亚 Memento 3 则用冻结模型的方式实现了递归自我改进。这三条都在解决不同层面的问题,SSoN 提供的是一个共同的体检口径:跨视角的一致性判断到底处在什么水平。

多模态模型的能力构成也在分化。Qwen3.8-Omni-Flash 在 29 项基准上平均涨 25% 且 API 价格降 93%,这类进展说明全模态的覆盖度在快速补齐,而跨视角的三维一致性归因仍是尚未被攻克的那一段。论文的作者单位横跨普林斯顿大学 AI Lab、宾夕法尼亚大学、Adobe Research 与西北大学,第一作者是本科生身份,这一点在基准论文里并不常见。

一个有意思的对照是训练路线。清华代数世界模型 AWM 走的是把世界描述变成可机器检查的证明,另一端是逐际动力 FluxVLA V2 这类工作在做本体侧的策略推理与推理加速。它们都假设模型对空间有基本掌握,而 SSoN 的数据说明这个假设目前在公开模型上并不成立。蚂蚁灵波 LingBot 全栈 2.0 收录了 9 个模型仓库,这类具身栈的落地速度,最终会被这个短板卡住。

常见问题

SSoN 和已有的空间智能基准有什么不同?

核心差异是集合级归因。多数基准测两两对比或单视角推理,成对不一致检测只能发现两张图冲突,SSoN 要求模型在一组四张图里找出唯一的异类并给出成立的理由,同时评测答案与证据两个维度。

为什么模型准确率会低于随机基线?

因为题目专门构造了看着像变了、空间上却正确的强干扰视图。模型若能发现外观差异但判断不了它是否来自视角变化,就会被系统性地带偏,表现反而低于盲猜。这说明缺口在识别差异到理解空间之间,而非视觉感知本身为零。

普通人能用 SSoN 做什么?

题库、微调权重和代码都已开放,数据集托管在 Hugging Face,基座微调权重提供的是 Qwen2.5-VL-7B 的 LoRA 适配器。1000 道题有 50 组可独立测试包,论文也给出了完整的题目元数据与构造审计流程,复现门槛主要在三维场景渲染环境上。

小结

SSoN 的价值不在于又造了一个更难的榜单,而在于它把一个被普遍默认的能力单独拿出来量了一次,并且用量表显示这个能力当前基本不成立。83.3% 对 39.7% 是答案层面的差距,34.9% 是加上证据约束后的差距,29.5% 是选对却站不住的比例,7.23% 是最强模型在旋转类上的真实水平。

干预实验给出的方向比分数更有用。提示和重建能把成绩抬到 50% 附近但上不去,直接给相机几何能把移动类从 20% 推到 70%,而加入推理依据的监督微调让旋转类翻了近一倍。这三条共同指向一个判断:空间一致性并非模型天生缺的能力,当前训练目标里这一段还没有被明确编码。

要理解当前视觉语言模型在空间能力上各自走到哪一步,可以对照大晓机器人 ACE-Brain-0.6 的六项空间感知评测与VISTA 视觉记忆框架,多模态全链路的进展参考Qwen3.8-Omni-Flash 的 29 项基准表现,具身侧的推理效率可以看逐际动力 FluxVLA V2 的 9.64 倍加速。