星尘智能发布 CoMind:隔墙协作成功率从 0 到 100%

11 月 13 日,深圳具身智能公司星尘智能发布多机协同框架 CoMind,代号 Be My Eye。核心目标是让机器人在独立决策的同时主动交换任务关键信息。两台机器人隔着挡板彼此完全看不见时,协同拿笔的任务成功率从 0% 直接提升到 100%。

信息传得少反而配合更好

被挡住视线的机器人靠队友借眼找盒子放东西,准确率从靠盲猜的 38.9% 冲到 88.9%,而整个过程的信息传输量直接砍掉 80%。传统做法要么由中心系统统一调度,精细动作容易慢半拍,要么把摄像头画面全部发给队友,产生大量冗余数据并加重通信与处理负担。

六项真机测试覆盖六类难题

星尘展示了隔墙拿笔、盲盒置物、纸箱组装、叠被收纳、冰箱补货和哑铃组装六项真机测试,覆盖视觉遮挡、柔性物体操作与精密装配等协作难题。组装纸箱时箱体翻转会遮挡视线,机器人靠交换操作状态与任务进度继续完成装配。叠被子环节中被子形状、边缘与受力状态持续变化,两台机器人连续完成提起、翻折、收纳,全程无需人类逐步下达指令。

去中心化共享与信息压缩

CoMind 的设计分两个阶段。第一阶段由上下文编码器从多路摄像头观测中筛选压缩关键信息,保留对当前任务和后续动作有价值的视觉特征,并学习预测未来视觉变化,让机器人理解操作所处阶段。第二阶段是双向共享与协同动作生成,双方都可独立提取发送关键信息,接收方把共享信息与自身观测、任务指令及本体状态结合后输入视觉语言动作模型。框架把能力归纳为去中心化主动共享,以及任务关键信息的精选与压缩两项。

让机器人学会说重点,比再堆一套中心调度更接近多机协作的真实需求。

全部文章归档与模型专题