智元 WITA-Omni:400 毫秒响应与四榜第一的具身全模态模型

一句话结论:智元在 11 月 10 日补齐了 WITA-Omni 的完整能力清单,这个号称行业首个具身全模态端到端交互大模型的模型响应最快约 400 毫秒、平均约 600 毫秒,在四个具身交互榜单上全部排第一,但领先第二名的幅度只有 0.1 到 1.1 分,且没有开放权重也没有公开 API。

如果只把这个模型当成一条产品发布消息,会漏掉它真正有意思的地方。WITA-Omni 代表的是一条和「把聊天模型装进机器人」完全不同的技术路线,它把物理动作和表情提到和语音并列的一级输出位置,用一个端到端模型统一驱动感知、决策与表达。

这条路线目前只在智元自家的量产机器人上跑。能不能下载、能不能调用、参数多大、并发上限多少,官方都没有给答案。所以这篇先把能核对的数字摆清楚。

400 毫秒与 600 毫秒:官方数字里的三个保留

官方口径是「交互响应最快约 400 毫秒、平均约 600 毫秒,较业内平均水平快近 3 倍」。这句话里藏了三个需要拆开的点。

第一,400 和 600 是两个不同性质的数。400 毫秒是理想条件下的下限,600 毫秒才是常态。拿 400 毫秒去做体验预期会对不上。

第二,「快近 3 倍」的参照系没有公布。官方只写「业内平均水平」,没给对比模型名称、测试集和测试方法。这个倍数只能当厂商自评看,不能当第三方实测结论。

第三,响应延迟的起止点没有定义。从人声结束算到语音首帧,还是算到表情和动作同步启动,两种算法结果差很远。目前公开材料里没有说明,这类细节通常要等第三方拿设备实测才能对齐。

四个榜单第一,但领先幅度只有 0.1 到 1.1 分

智元在同一次披露里给出了四个具身交互榜单的成绩和第二名,数据标注时间为 2026 年 10 月。这组数字是判断能力边界最实在的证据。

榜单 WITA-Omni 1.0 第二名 领先幅度
全模态理解 Daily-Omni 86.2 Qwen3.5-Omni-Plus 85.1 1.1 分
视频时序定位 TimeLens-Bench 66.4 Seed2.0 Lite 66.1 0.3 分
音频理解 MMAU 82.6 Gemini 3.1 Pro 82.5 0.1 分
具身空间理解 EmbSpatial-Bench 85.5 Qwen3.5-Omni-Plus 85.4 0.1 分

把四个差值摆在一起,结论比「四榜登顶」这个说法要冷静。Daily-Omni 的 1.1 分算是明确优势,另外三个榜单的差距落在 0.1 到 0.3 分之间,属于贴身竞争,同一个量级内的排名波动完全可能改变榜首归属。

榜单的具体对手也值得记一下。Daily-Omni 上第三名是 Qwen3.8-Omni-Flash 85.1,与第二名并列;第四是 Gemini 3.1 Pro Preview 83.6,第五是 Gemini 2.5 Pro 82.9。EmbSpatial-Bench 上第三名 Qwen3.8-Omni-Flash 84.5 之后是 Gemini 3 Pro 84.3,再往下是 Qwen5.5-Flash 80.4。国产全模态模型在音频和空间理解上已经挤得很紧,通用多模态模型同样没有掉队。

更早的一条记录来自 7 月,WITA-Omni Preview 以 85.21 分登顶 DailyOmni 全模态理解榜,八项细分指标里六项第一,同期超过千问、Gemini、豆包、英伟达等模型。对照 10 月榜单的 86.2 分,两个月的提升幅度是 1 分。

这组数据指向一个结论:通用多模态模型在音频和空间理解上的精度已经很高,具身交互的差异化更多落在「什么时候该说话」这类决策上,单纯把感知精度再往上推零点几分已经很难拉开差距。

八大能力对应的是八个真实问题

官方给的八个词是超强拾音、极速响应、全模态拒识、语言大咖、灵动情感、智能面屏、全时自主、本体部署。逐条拆开看,这八个词回答的是机器人交互里八个不同的老问题。

超强拾音解决「听不清」。机器人自身的电机、风扇、行走噪声会盖住人声。智元做了一套视听融合的感知前端:用本体状态消除回声与自噪声,用声纹、唇动加视觉定位锁定目标说话人,再从多人混叠声里把目标语音提出来。

极速响应解决「等太久」。传统链路是收音、识别、理解、合成、播报,每一环都要等上一环结束。WITA-Omni 换成流式全双工,边听、边想、边应、边动、边做表情。

全模态拒识解决「乱接话」。它不需要唤醒词,靠对话朝向、视频、音频、声纹、唇动、姿态、语义和上下文一起判断这句话该不该回应。多人交谈或环境广播时的误触发率是这项能力的核心指标,官方没有公布具体数字。

语言大咖对应多语种与方言。100 多种语言、29 种方言免切换交流,配合全双工实现流式同声传译,语言和方言都能译,也支持双向互译。官方没有列出具体语种清单,也没公布各方言的识别准确率。

灵动情感是输出侧。倾听时用点头、注视、微表情回应,表达时把参数化面部表情、声音和肢体动作一起调度,覆盖开心、惊讶、激动、悲伤、满意、痛哭、认真、自信等几十种情绪,每种还能分强度。

智能面屏(Intelligent FaceUI)负责把说不清的内容画出来。讲一个复杂产品、给孩子讲科普,模型会判断这段话适合用图表达,直接在面部屏幕上生成可视化内容。

全时自主指主动发起交互。见人主动欢迎并伸手,被点赞有回应,看到挥手告别会挥手相送。

本体部署是最容易被忽略、也最关键的一条。模型跑在机器人本地算力上,不依赖联网回传,隐私、断网、实时性三个问题一起解决。官方称这是业内首个实现在量产机器人本体部署的大参数量模型。

官方能力名 对应的实际场景问题 已公开的可核对数据
超强拾音 电机风扇噪声盖住人声、多人混叠 无量化指标公布
极速响应 串行链路每环等待 最快约 400 毫秒,平均约 600 毫秒
全模态拒识 乱接话、环境广播误触发 无量化指标公布
语言大咖 多语种与方言切换成本 100 多种语言、29 种方言免切换
灵动情感 表情动作与语音脱节 几十种情绪,每种分强度
智能面屏 复杂内容口头讲不清 面部屏幕实时可视化,无量化指标
全时自主 机器人只会被动应答 无量化指标公布
本体部署 隐私、断网、实时性 量产机型远征 A3-Ultra 本体部署

Thinker-Talker-Actor:表情和动作怎么跟语音同时出

架构层面,官方英文材料写的是 Thinker-Talker-Actor 三段式,在 Thinker 和 Talker 之外加了一个专门管动作与表情的 Actor,中文技术图里对应 WITA-THINKER 主干和 WITA-EXECUTOR 执行段。

主干负责理解与决策,把视觉、音频、文本映射到同一个语义空间做联合推理,判断当前发生了什么、要不要回应、回应谁。执行段拆成三个生成器:Expression Generator 管表情、Speech Generator 管语音、Action Generator 管动作,三者都用 Flow Matching 生成,再用 Temporal Mixer 做时间轴对齐。

这一段是「同时出」的技术前提。语音、表情、动作脱离了三条串行流水线,改为挂在同一条时间线上并行生成,手势和表情能跟着语速、停顿、重音、情绪走。

训练侧是三段式:全模态预训练打底,具身行为对齐用机器人本体数据把输出约束到本体能力范围内,交互策略强化专门训练「何时回应、何时接话、何时让话」。

快慢双引擎:前台先应一声,后台再去查

对话要快,复杂任务要慢,这两件事天然冲突。WITA-Omni 的处理办法是快慢双模:前台 Interaction Engine 负责流式理解与即时回应,后台 Background Agent 负责推理、规划、工具调用与长程任务,两者共享同一份上下文与时间线。

对使用者的直接感受是,机器人可以先应一句「我看一下」,再去后台查资料,查到结果回来接着讲。中途可以补充、纠正、取消,后台任务实时调整,上一轮不会被作废重来。这套机制在服务台、导览、接待这类「问一句答一句但答案要查」的场景里,比单纯的语音助手更接近人的节奏。

这个设计的取舍也很清楚:把「思考」与「应答」拆到两个执行体上,用共享上下文换取延迟,代价是系统复杂度上升,异常处理路径变长。

能不能下载、能不能调用:目前答案是不能

这是搜索这个模型的人最想知道的答案,也是公开材料里最容易被误读的部分。

WITA-Omni 没有开放权重下载。官方页面没有 GitHub 仓库、Hugging Face 模型卡或 ModelScope 入口,没有公布 API 文档与计费方式。它的部署形态是智元自有机器人本体,官方明确把重点放在「本体」两个字上。

同一场创新日发布的另一个模型 GO-3 Preview 走了相反路线,计划于年底开源。智元把「开源的基座模型」和「不开源的交互模型」分开处理,前者给开发者,后者留在自家硬件里。

所以现阶段判断能不能用只有一条路径,看你能拿到什么硬件。有远征 A3-Ultra 就有 WITA-Omni,没有就只能等官方后续的开放计划。这篇自然也不写「快速开始」,它本来就不面向开发者上手。

已经上岗的场景和仍未公开的数据

官方给的落地描述是文娱导览类场景。搭载 WITA-Omni 的智元机器人在部分园区承担知识讲解、乐园导览,面对公众开放环境完成交互任务。更早的一次公开演示在 9 月 21 日大湾区电影音乐会现场,机器人需要在真实舞台灯光与多人环境里判断谁在说话、什么时候接话。

没有公开的部分同样值得记下来:参数量、训练数据规模、推理硬件的具体型号与功耗、单台机器人的交互并发上限,这四项都没出现在两份公开材料里。对一台要在门店、展馆连续工作八小时的设备来说,硬件型号和并发上限的实际意义不比榜单分数低。

还有一个常见问题是语言能力的分布。官方说法是 100 多种语言、29 种方言,但没有具体语种清单,也没有方言识别准确率。29 种方言覆盖哪些、普通话与方言混说怎么处理,目前只能等后续材料。

和 GO-3 Preview 的分工

把两个模型放进智元的「三智一体」框架里看,产品逻辑就清楚了。运动智能管走与拿,操作智能管干活,交互智能管跟人打交道。GO-3 Preview 属于具身基座模型,偏任务与操作;WITA-Omni 属于交互智能,偏对话、表情与主动服务。前者年底开源,后者留在本体,两条路线同时推进。

这解释了 WITA-Omni 的公开材料为什么几乎全是现场演示与榜单成绩,而没有开发者文档。它的公开信息密度低,恰好因为目标受众并非开发者。

常见问题

WITA-Omni 能下载或免费调用吗

不能。截至目前没有开放权重、没有 GitHub 仓库或模型卡、没有公开 API 文档与计费页。它只部署在智元远征 A3-Ultra 等自有机器人本体上。想体验只能通过购买或接触智元的硬件产品。

四个榜单第一说明它全面领先吗

不说明。领先幅度在 0.1 到 1.1 分之间,MMAU 和 EmbSpatial-Bench 只领先 0.1 分,属于同一量级的贴身竞争。Daily-Omni 的 1.1 分是相对明确的优势,另外三榜更接近贴身而非拉开差距。

400 毫秒响应能在真实场景里达到吗

400 毫秒是理想条件下的下限,官方给的平均数是 600 毫秒。而且官方没定义延迟的起止点,从语音首帧算到动作启动算出的数完全可能超过 600 毫秒。第三方实测数据目前还没有。

和普通多模态大模型相比,它的技术差异在哪

核心差异在输出层。普通多模态模型输出文字或图像,WITA-Omni 把物理动作和表情提升为与语音并列的一级输出,用一个端到端模型统一驱动感知、决策与表达,并通过 Flow Matching 加 Temporal Mixer 让三条输出挂在同一时间线上并行生成。

小结

WITA-Omni 的真实贡献是把具身交互的架构问题摆到了台面上:智能体在物理世界里的输出不只是文字,语音、表情、动作要共用一条时间线,模型还要自己决定何时开口。这套设计的完整度在目前的公开材料里属于第一梯队。

它的实际边界同样清楚。四个榜单第一但领先幅度极小,400 毫秒的下限与 600 毫秒的平均值之间有明显差距,没有权重也没有 API,参数量与硬件型号全部缺席。这更像一次能力与测试口径的集中披露,把此前零散的现场片段收拢成一份可核对的能力清单。接下来的看点很明确:第三方拿设备独立实测,以及智元会不会公布运行时长与并发数据。

相关技术脉络可以对照 狮子山 Lion-ER-35B-A3B 具身模型 的评测方式,触觉这条输入通道则与 蚂蚁灵波 LingBot-Touch 触觉模型 属于同一波研究浪潮。全双工语音的延迟工程细节可参考 Shizuku-Duplex 全双工语音,具身模型的空间理解能力对照 普林斯顿 SSoN 空间基准 的口径。