英伟达开源机器人标注引擎 Flora:1 小时标注 0.72 美元

一句话结论:英伟达 GEAR 实验室开源的机器人视频标注引擎 Flora,把一小时机器人视频的标注成本压到约 0.72 美元,而同任务交给 GPT-6 Astra 需要约 88.5 美元,价差 125 倍,代价是它在公开基准 WGO-Bench 的总分仍低于 Astra。

10 月 25 日,英伟达把这套系统连同模型权重一起推到 Hugging Face,名字叫 Flora,一个开放数据引擎。它绕开了通用多模态模型的路子,把机器人训练视频的标注环节拆成一条专用流水线。这件事的分量在于,具身智能过去几年真正的瓶颈落在喂给模型的视频标注上,太贵,太慢。

机器人视频标注到底要产出什么

英伟达 GEAR 研究实验室把机器人从视频里学习所需的标注拆成三类。第一类是描述画面中发生了哪个动作,用来挑选训练数据;第二类是对机器人每一步的推进程度打分,让模型能通过试错学习;第三类是判断一个任务是否成功完成,用于部署阶段的监控。

市面上多数工具只覆盖其中一类。通用大模型比如 GPT-6 Astra 能生成几种标注,但要喂饱机器人基础模型的训练规模,价格根本撑不住。GPT-6 Astra 接宇树 G1 进厨房这类真机流程,恰恰说明动作数据的获取难度,GPT-6 Astra 接宇树 G1 进厨房:一个周末学会整理抽屉、递药到家那篇里提到的整理抽屉、递药场景,背后是同一套数据供给难题。

Flora 的定位是三件事都做。视频先被切成动作片段,每个片段配一段带前后文的描述,然后由同一个奖励模型给出成功度评分与逐步评级。

三个模型怎么分工:9B 切分、27B 描述、27B 打分

Flora 由三个基于 Qwen3.5 微调的模型组成。9B 模型负责把视频切成动作片段;27B 模型在描述动作时会把前后文一起算进去,这样描述不会只盯着单帧;第三个 27B 模型叫 Flora-Rewarder,承担三种角色,按提示词切换任务。

模型 规模 职责 产出
分割模型 9B(Qwen3.5 微调) 把视频切成动作片段 带时间戳的动作边界
描述模型 27B(Qwen3.5 微调) 描述动作,考虑前后文 带时间戳的动作文本
Flora-Rewarder 27B(Qwen3.5 微调) 整段打分、逐步分类、自定义评分标准 1 到 5 分成功度、正常/次优/失败三分类、rubric 分数

奖励模型一个顶三个,这是 Flora 与多数开源标注工具的关键差别。它给整段轨迹打 1 到 5 分的成功度,把每个半秒步骤分类为正常、次优或失败,还能按自定义评分标准给分。研究人员解释,把逐步评级和整段评分放进同一个模型,是为了避免三个独立模型在时间轴上互相打架。

125 倍价差是怎么算出来的

英伟达用 50 个视频做了对比测试。同一批素材,标注一小时视频的成本差异如下。

模型 每小时标注成本 标注质量 相对 Flora 倍数
Flora 约 0.72 美元 57.1% 1 倍
GPT-6 Astra 约 88.5 美元 53.7% 约 123 倍
Claude Opus 5 约 42 美元 低于两者 约 58 倍

这里必须把口径讲清楚,否则容易被 125 倍这个数字带偏。成本数字是按每 GPU 每小时 10 美元的租金假设推算出来的投影值,不是生产环境实测账单。而且比较对象本身并不对等:GPT-6 Astra 是按通用推理定价的前沿模型,Flora 是为半秒级步骤分类和 rubric 打分专门做的窄任务模型,拿通用模型干专活,价格天然吃亏。

真正有价值的结论是方向性的:窄任务专用小模型在标注这件事上,能以可接受的成本压过通用前沿模型。英伟达在英伟达开源 Run:ai 深度:KAI Scheduler 与 3 至 6 倍加载加速那套调度实践里反复讲同一个逻辑,推理侧效率做上去,下游的数据规模才撑得住。

基准结果:赢在哪,输在哪

公开的 WGO-Bench 上,Flora 最擅长找出动作发生的时间边界,总分仍然落后于 GPT-6 Astra,纯描述准确率落后 Gemini 3.8 Flash。研究者把增益归因于时间定位,而不是描述文本本身更好。

在英伟达自建的 DenseCaptionBench 上,场景要分开看。人类拍摄视频的所有指标 Flora 都领先,机器人视频则排第二,落后于 Astra。

评测 Flora 表现 对比
WGO-Bench 总分 落后 GPT-6 Astra 领先
WGO-Bench 动作边界定位 领先 本项最佳
纯描述准确率 落后 Gemini 3.8 Flash 更高
DenseCaptionBench 人类视频 全指标领先 领先
DenseCaptionBench 机器人视频 第二 GPT-6 Astra 第一
整段结果评分 领先 领先
rubric 自定义标准打分 落后 GPT-6 Astra 领先

还有一个方法论上的自曝:评价描述质量用的评判模型正是 GPT-6 Astra 本身,而 Astra 同时是被测模型之一。研究者在论文里承认了这一点,读者在解读分数时需要把这个折扣算进去。同一生态里的对比可以参考Gemini 4 Argon 机器人版:一图生成 4500 条训练数据,谷歌那条路走的是从仿真侧造数据,与 Flora 从真实视频里抽标注是两种互补思路。

真正的杀手锏:抓中途失败的那一步

RoboRewardBench 上,Flora 的错误率比 Astra 低 27.8%,差距主要来自「只完成一半」的任务。论文举了个具体例子:机器人只是把瓶子倾倒而不是推下桌子,Flora 给 3 分(满分 5 分)去对齐人类参考,Astra 只给 1 分。

数字上的对比更直观。Flora-Rewarder 能抓到一段轨迹里 53.3% 的失败步骤,其他任何模型都没超过 11.7%,Astra 一条都没抓到。对应的代价是,Flora 大约会把 11% 的正常步骤误判为错误。轨迹排序和 rubric 打分两项,Astra 依然占优。

动作切分的颗粒度差异在极端视频里被放大。一段包含大量短促手部动作的视频,Flora 识别出 37 个参考动作中的 34 个,Astra 只认出 4 个。反过来,Flora 也会把长动作切得过碎,偶尔描述出错,比如机器人明明在用布擦盘子,它写成了叠餐巾。

规模、部署与它在英伟达战略里的位置

这套系统已经在英伟达训练 GR00T 模型时跑起来了,每天最多标注 20 万小时视频,跑在 512 块 GB300 上,模型权重已放到 Hugging Face。这个量级很关键,因为标注速度决定了机器人基础模型的数据周转速度。

英伟达把 Flora 定位为 Scale AI 物理 AI 数据引擎这类商业服务的开源替代品,让研究者自己放大数据集规模,测试比如把人类演示迁移给机器人这类方法。战略上这很直白:开源标注工具既扩大自家模型生态,又进一步锁定自家硬件需求。英伟达 DSX POD 发布:AI 工厂部署从 6 个月压缩到 14 天那篇讲过部署周期从 6 个月压到 14 天,Flora 是同一条流水线上补数据标注这一段。

机器人基础模型的世界模型路线也在并行推进,千诀 Polibrain 世界模型发布:5 类机器人复用,隐变量早 LeCun 一年那套隐变量预测方案与 Flora 属于上下游关系,前者学物理规律,后者从视频里抽监督信号。

对做机器人的团队意味着什么

如果你的团队正在做机器人基础模型,标注成本通常是账单上最难看的一项。Flora 把这笔账从每小时几十美元压到不到一美元,同时保留了三类标注的完整产出,门槛降到可以在自有集群上跑全量视频。53.3% 的中途失败检出率尤其值得注意,因为机器人失败常常发生在中段,某一步悄悄滑掉了。

需要保持清醒的是三件事。成本数字是投影不是实测账单,拿它做财务预算要自己按真实 GPU 租金重算。WGO-Bench 上落后 Astra 说明它在公开对比里还不是全能冠军。研究团队自己也提到评委模型与被测模型重合的方法论瑕疵,独立复现之前,125 倍和 57.1% 都应该当作待验证的官方口径。

常见问题

Flora 是什么,用起来贵吗

Flora 是英伟达 GEAR 实验室开源的机器人视频标注引擎,由三个微调后的 Qwen3.5 模型组成。按英伟达的投影口径,标注一小时机器人视频约需 0.72 美元,而同一任务用 GPT-6 Astra 约需 88.5 美元。需要注意的是,这个成本按每 GPU 每小时 10 美元租金假设推算,实际部署要按自己的算力价格重算。

Flora 和 GPT-6 Astra 谁更好

各有所长。Flora 在动作边界定位、中途失败检出和人类视频描述上领先,Astra 在公开 WGO-Bench 总分、机器人视频描述和 rubric 打分上占优。选型取决于你要的是大规模便宜的通用标注,还是少量高精度难样本的精标。

Flora 开源了什么,普通人能用吗

模型权重已放到 Hugging Face,包含分割、描述和奖励三个模型,可以自行部署在自有算力上。需要接受的是它的定位偏向机器人训练视频,用在通用视频描述上并没有优势。同时要留意评测中 GPT-6 Astra 既是评判模型又是被测模型这一点,独立复现时建议换一套评判模型重跑。

相关阅读

小结

机器人训练的隐性成本正在被一点点拆开来看。Flora 给出的答案很直接,标注这件事不必交给最贵的通用模型,三个专用小模型加上一套窄任务设计就够,成本还能压到两个数量级以下。它在动作边界、中途失败这两处领先尤其有价值,因为那正是机器人从「几乎做对」滑向「完全做错」的地方。剩下的悬念在于官方口径之外的独立复现,以及 WGO-Bench 上那个还没追平的差距。