狮子山实验室发布驭物 Lion-ER-35B-A3B:35B 总参仅激活 3B

11 月 4 日,招商局先进技术研究院下属狮子山人工智能实验室发布具身推理视觉语言模型「驭物 Lion-ER-35B-A3B」。该模型采用 MoE 混合专家架构,总参数约 35B,每个 Token 仅激活约 3B 参数,在不显著增加推理开销的前提下,于十项主流具身相关基准上实现全部指标上涨。

把重心从堆数据转向建能力

出发点是具身场景里的一个具体难题:视频画面中物体位置看着更高,不等于它在真实三维空间中更高;换个拍摄角度,家具外观变了但仍是同一个物体;画面内位移可能来自物体移动,也可能只是相机转动。这些细微的空间与状态变化人类一眼可辨,对机器人的具身大脑却直接导致执行失败。视角变化混淆物体身份、误判相机运动、错估任务进度,都会让任务中途崩掉。

能力牵引的数据引擎

模型的核心并非单纯抬参数,而是搭了一套能力牵引的具身数据引擎,不盲目收集海量数据,而是围绕模型需要掌握的能力做正向设计,再靠评测发现短板,闭环迭代优化数据。过去几年 Open X-Embodiment、DROID 等工作持续拓展真实世界机器人数据的边界,但已有研究表明,在既有数据集内仅调整不同数据域的训练权重,就能明显影响下游任务表现,更多数据并不等于更多能力。

稀疏激活的效率路线

这条路线与扩散语言模型的稀疏化实践有相似之处,可对照 Clover-35B-A3B 扩散语言模型的速度数据 观察,A3B 架构在算力受限场景的部署价值已经被反复验证。在机器人本体算力有限的现实条件下,每 Token 只激活 3B 参数意味着推理延迟和显存压力都能明显下降,十项基准全线上涨且未增加推理开销,这种组合在具身模型里并不常见。

机器人厂商的真实约束是电池、散热和成本,模型能不能跑得动往往先于跑得好不好,稀疏激活的具身路线因此值得持续跟踪。