智元发布 WITA-Omni:400 毫秒响应的具身全模态模型

11 月 10 日晚,智元 AGIBOT 宣布发布 WITA-Omni 硅光动语全模态大模型,官方称其为行业首个具身全模态端到端交互大模型。

输入输出都进了物理层

模型基于机器人本体感知数据深度训练,除音视频输入输出外新增支持触觉和本体状态输入,以及机器人动作、表情输出。基于流式全双工架构,机器人可以边听、边想、边应、边动、边做表情,交互响应最快约 400 毫秒、平均约 600 毫秒,较业内平均水平快近 3 倍。

不需要唤醒词

全模态拒识让机器人交互不必再等唤醒词,全程自然对话。系统会结合对话朝向、视频、音频、声纹、唇动、姿态、语义和上下文判断当前发言是否需要回应,面对多人交谈或环境广播干扰时降低误触发。模型支持上百种语言和方言的免切换交流,并实现流式同声传译和双向互译。

情绪与可视化

情感表现方面,机器人通过细腻表情和自然的头部动作回应,表达时结合参数化面部表情、声音与肢体动作呈现开心、惊讶、激动、悲伤、满意、痛哭、认真与自信等几十种情绪,同一种情绪还能展现不同强度。模型也会把难以用语言说清的内容实时可视化到面部屏幕上。具身模型的能力分层可以对照 狮子山 Lion-ER-35B-A3B 的评测方式。