一句话结论:百度在 11 月 3 日深圳 AI Day 上首次披露 ApolloWorld,用多智能体驱动的全模态世界模型把无人驾驶路测搬进虚拟城市,一天完成的虚拟里程相当于安全员路测车连跑三年,并顺手给出了世界模型「2+3」评价框架。
无人驾驶行业有个长期没解决的麻烦。真实路测能积累里程,但像洒水车经过施工区把锥筒冲到车道上这种场景,工程师既写不进测试脚本,也没法按原条件复现一遍。仿真本来是解药,可传统仿真更像录像回放,无人车变道了,周围车辆还是按录好的轨迹走,考不出真本事。
2026 年 11 月 3 日,在深圳举行的百度 AI Day·Apollo 专场上,百度 Apollo 首次披露面向物理 AI 的智能体驱动全模态世界模型 ApolloWorld,并提出世界模型的「2+3」判断标准。这套模型已经进入萝卜快跑无人车的全球化测试与验证流程。
虚拟城市里的交通参与者会自己做决定
ApolloWorld 的技术底座是多智能体驱动。百度智能驾驶事业群组杰出架构师、世界模型负责人杨泽把它描述成一句话:ApolloWorld 希望赋予交通参与者智能,让世界能够回应无人车的每一个动作。
传统仿真里,其他车辆和行人更像按脚本运行的道具。ApolloWorld 把它们建模成具备决策与交互能力的 AI 智能体,每个智能体都有自己的行动目标和行为逻辑,也会根据其他交通参与者的动作调整决定。
百度在现场举了一个具体例子。无人车行驶到高架入口,支路上一辆车正准备汇入主路。如果无人车选择驶上高架,支路车辆获得足够空间,会顺势汇入主路。如果无人车改变路线沿右侧辅路继续行驶,占据了原本的汇入空间,另一辆车也会改变决定,减速停车等待。
虚拟城市的交通状况本身也能调。设置不同的稀疏、适中或密集车流,或者改变其他车辆的驾驶风格,让它们开得更谨慎或更激进。过去这类复杂交互可能要靠无人车反复上路、等待特定情况出现,现在可以主动组织到虚拟环境里。
这直接对应了仿真行业一个长期痛点。非响应式回放意味着即便无人车改变了驾驶策略,周围车辆仍按原始记录的轨迹行驶,交通环境不做出相应调整。百度把这种能力概括为「可交互的生成」,用王亮的话说,世界模型不能只做生成炫酷视频的画师,更要成为验证无人驾驶安全性的考官。
按订单考核:为什么单路口模拟不够
多数世界模型仍在做独立场景模拟,一个路口、一次切入,画面再逼真也顶多证明模型会摆拍。真实一单出行动辄二三十分钟,途中经过数十个路口,每次决策都会改变后续遇到的交通情况。
ApolloWorld 选择按订单来考核驾驶模型。在虚拟城市里任选起点和终点,实时生成从接单、载客到终点的全程传感器数据,让无人驾驶模型在接近真实工作场景的条件下训练。车辆能够在不同起终点之间连续行驶,支撑萝卜快跑在跨路段、跨场景的连续驾驶过程中接受检验,而不只是单点场景。
支撑这套闭环的是三项技术的协同:智能体交互建模、多视角多模态生成,以及完整驾驶闭环。世界模型根据已有环境状态和车辆动作预测下一时刻的交通变化,驾驶模型读取生成的传感器数据后做出转向、加速或制动决策,再把动作反馈给世界模型。系统作出决策,环境随之变化,再提供新反馈,形成端到端回路。
为了多模态观测能对得上,同一辆车的相机画面位置和激光雷达感知到的三维位置必须一致,距离、遮挡、运动状态在不同传感器间都要保持一致。只有漂亮视频而没有可靠的空间与传感器信息,测试价值就打折。百度还通过知识蒸馏等方法加快模型推理,让虚拟环境能实时响应车辆动作。
2+3:给世界模型划出能力门槛
「世界模型」这个词这几年被用得越来越宽泛。能生成逼真视频的叫世界模型,能构建三维空间让人漫游的也叫世界模型,能根据外部动作持续推演环境变化的同样叫世界模型。李飞飞团队曾把世界模型分为渲染器、模拟器和规划器三类,分别侧重视觉生成、环境状态推演和行动规划。
用于训练无人驾驶的世界模型和用于视频生成的世界模型,目标差异巨大。百度给出的是一套面向真实任务的判断方法。「2」是基础门槛,「3」是进阶指标。
| 维度 | 类型 | 具体含义 | 针对的问题 |
|---|---|---|---|
| 因果性 | 基础门槛 | 遵循时间单向性,由过去决定未来,基于当前状态预测下一刻,而非拼凑画面反推过去 | 回放式仿真无法推演真实后果 |
| 交互性 | 基础门槛 | 能动态响应外部干预,注入动作会影响未来世界状态 | 环境对车辆动作无响应 |
| 物理准确性 | 进阶指标 | 模拟的状态有多可靠,是否符合世界规律,学到的能力回到物理世界还能不能用 | 雨天制动距离与雨滴干扰激光雷达回波 |
| 持久性 | 进阶指标 | 持续运行的时间和稳定性能否跟上,长时间运行物体和细节是否漂移 | 长行程推演中的状态一致性 |
| 实时性 | 进阶指标 | 低时延,生成世界复杂度的增长不影响模型推理时间 | 安全决策周期须限定在 1/30 秒内 |
这五条的取舍逻辑都来自无人驾驶的实际约束。雨天路面湿滑会改变车辆制动距离,雨滴干扰激光雷达回波让点云出现大量噪点。如果虚拟世界只有下雨的画面,车辆却仍按晴天条件制动和感知,虚拟测试就失去了意义。王亮把这类工程打磨称为 dirty work,激光雷达遇到雨滴后的反射干扰涉及相当复杂的物理现象,学会这些远比生成视觉上逼真的大雨费工夫。
他给出的判断是,世界模型的概念并不稀缺,各家都能投入研发,真正可能形成壁垒的是渲染速度、长时记忆、物理真实性这些长期积累的工程能力。概念边界扩展带来的问题也随之显现:模型生成的世界足够逼真,是否意味着它真正理解物理规律。
一天抵三年的里程账怎么算
百度披露的数据是,ApolloWorld 一天完成的虚拟路测里程,相当于一辆配备安全员的真实测试车连续行驶大约三年。
换算过程大致是这样。100 万公里虚拟里程大约是地月平均距离的 2.6 倍,足够沿赤道绕地球 25 圈。按单辆车每天行驶 150 公里计算,100 万公里相当于连续行驶超过 6600 天,即便投入上百辆测试车同时上路也要两个多月。何况真实道路上的复杂情况很多时候不会按测试计划出现。
| 指标 | 数值 | 换算参照 |
|---|---|---|
| ApolloWorld 单日虚拟路测里程 | 约 100 万公里 | 约为地月平均距离的 2.6 倍,可沿赤道绕地球 25 圈 |
| 折算真实路测时长 | 约 3 年 | 按单辆车每天 150 公里计算需连续行驶超过 6600 天 |
| 萝卜快跑落地城市 | 全球 28 座 | 已在左右舵市场开展无人驾驶实践 |
| 累计出行服务 | 超过 2300 万次 | 端到端全无人运营超百万公里 |
| 自动驾驶总里程 | 突破 3.5 亿公里 | 按高铁时速 300 公里需连续跑 133 年 |
| 其中全无人驾驶里程 | 超过 2.4 亿公里 | 中国唯一以端到端技术规模化运行 L4 的出行平台 |
这 3.5 亿公里对用户来说是百度替他们开过的路,对世界模型来说是一份天然的模型训练题库。真实道路上每一次急刹、绕行都可以变成虚拟世界里的新考题,虚拟世界里发现的模型短板优化后再迭代进现实世界的驾驶模型。这条从业务数据到训练素材、再回到日常运营的闭环,是 ApolloWorld 相对其他玩家的结构性优势。
与 Waymo World Model 的路线差异
全球头部 Robotaxi 玩家都在把世界模型当成下一个战场。今年 2 月,Waymo 正式发布 Waymo World Model,基于 Google DeepMind 的 Genie 3 适配,支持根据驾驶动作、场景布局和自然语言调整虚拟环境,并生成相机和激光雷达数据,按其公布口径模拟里程已超过 200 亿英里。
两家披露放在一起看,差异落在任务形态上。Waymo 更突出如何制造复杂考题,百度展示的是一套覆盖完整出行任务的考试体系。
这个差异在各自的技术底座上也能看到。Google 的 Genie 4 走的是视频生成路线,能做两分钟带原生音频的模拟,Gemini 在其中担任导演;百度的 ApolloWorld 则强调因果自回归生成与知识蒸馏,按时间顺序生成未来状态并压低运行时计算开销,让虚拟环境连续快速地响应车辆动作。
更早的另一条路线是千诀 Polibrain 那类预测式世界模型,特点是跨五种机器人形态复用隐变量。清华代数世界模型 AWM 走的又是另一端,把世界描述变成可机器检查的证明,在 ARC-AGI-3 的 183 个关卡上全通。把这几条线放在一起看,ApolloWorld 的定位相当具体,它服务的是安全责任已经转移到系统的 L4 场景。
为什么无人驾驶从 L2 到 L4 是另一重难度
王亮用了一个贴切的类比。纪录片《徒手攀岩》里,攀登者挑战一面高约 900 米、近乎垂直的岩壁,经历了漫长而枯燥的练习。L2 辅助驾驶就像有保护绳的攀岩,攀登者可以尝试漂亮惊险的动作,因为保护措施仍然存在,辅助驾驶车辆的主驾也还有人,关键时刻能够接管。L4 无人驾驶则像无保护攀登,保护绳被撤掉了,主驾空空如也。驾驶动作看起来没有根本变化,背后的风险和安全要求却已不可同日而语。
李飞飞曾提出汽车是带轮子的机器人,但自动驾驶汽车本质上是二维避障的方盒子,与三维家务机器人在开放度上差距明显。会跳舞、叠衣服的机器人很厉害,学会开车是另一重难题。无人驾驶身处开放道路,持续与海量不可预判的交通参与者博弈,对一台近两吨重、几十公里时速的车辆而言,每一次判断和动作都直接关系到交通安全,开放世界的容错空间几乎为零。
安全决策周期要严格限定在 1/30 秒内,这是所有指标里最硬的一条约束。它意味着实时性属于及格线,而非渐进的加分项。
从真实里程到虚拟里程的数据飞轮
世界模型要解决的核心取舍是哪些场景值得重点研究。有些罕见情况涉及严重安全风险,另一些寻常场景则频繁影响通行效率和乘坐体验。真实道路上的风险千变万万,但并非所有交通情况具有相同的研发价值。
百度向媒体透露过一个具体案例。洒水车经过施工区域时,路边的锥筒在水流冲击下滑向无人车的行驶路线。洒水车、施工锥筒都是再寻常不过的道路元素,碰到一起造就了一个很难预料的场景。这类偶然情况工程师很难提前写进测试脚本,即便真实发生过一次也难按原条件重新安排。
ApolloWorld 的计划是让世界模型重现这类场景,让无人车反复接受检验。针对同一段真实经历,研发人员可以改变车辆速度、周围交通流或道路条件,观察驾驶系统在不同情况下的应对。新的驾驶模型投入实际运营,车队驶入更多城市又会带回此前没遇到过的情况,那些原本只发生过一次的交通经历由此获得被反复研究的价值。
规模与模型能力由此互相促进。运营积累越深,世界模型获得的有效训练材料越多;世界模型能力提升又提高驾驶系统的迭代效率,进而推动实际运营规模扩大。百度十余年的无人驾驶积累,在世界模型时代显现出新的价值。全球真正把新一代端到端驾驶模型推至百辆级纯无人运营的只有百度和特斯拉两家。
对行业格局的实际影响
过去 Robotaxi 行业比的是车队规模、开城数量和安全记录。随着无人驾驶出租车概念成熟,这些运营层面的数据只会成为入行门槛。世界模型的复杂程度和训练效果,会成为行业的下一个竞争点。
原因在于行业正以城市为单位向外扩张,不同城市有着截然不同的驾驶法规、路况与驾驶习惯。武汉的路和香港不一样,迪拜和伦敦的交通习惯也不同。企业要在某座城市落地的第一时间就提供出色体验,必然要在模型训练上多下功夫,也只有足够出色的世界模型才能提供这种多变训练环境。
百度还提到技术栈可拓展到机器人等更广泛的物理 AI 场景。市场规模上,Grand View Research 预计全球物理 AI 市场规模将从 2025 年的约 816 亿美元增至 2033 年的约 9604 亿美元,2026 至 2033 年复合年增长率 36.1%。
对自动驾驶栈本身的其他环节影响更直接。逐际动力 FluxVLA V2 这类工作在做本体侧的策略推理与推理加速,蚂蚁灵波 LingBot 全栈 2.0 收录了 9 个模型仓库,这类具身栈的落地速度最终会被世界模型这一环的能力卡住。安全验证从实车转向虚拟,模型评测的重心也随之从单场景能力转向完整任务闭环。
常见问题
ApolloWorld 和视频生成类世界模型有什么不同?
目标不同。视频生成类世界模型的核心产出是逼真的视觉内容,ApolloWorld 的产出是可验证的驾驶经验,它要实时生成相机与激光雷达等多模态观测数据,让驾驶模型在虚拟环境中完成感知、决策、动作、反馈的完整闭环,并接受证据约束而非视觉自证。
2+3 评价框架里的五项指标可以量化打分吗?
目前它是方向性判据而非统一量表。百度把它定义为能力门槛与进阶属性,用来划定世界模型能否承担 L4 训练与验证任务。文中提到的 1/30 秒安全决策周期是其中实时性维度最硬的参照,其余各项目前主要靠工程实践掌握。
萝卜快跑 3.5 亿公里里程对普通用户有什么意义?
直接意义是出行服务的覆盖范围和数据密度。间接意义在于这批真实道路数据是 ApolloWorld 训练虚拟环境的素材来源,萝卜快跑在真实路上的急刹与绕行会被提取成高价值场景进入虚拟测试,虚拟测试结果再反哺车端模型迭代,形成真实运营与虚拟验证互相促进的数据飞轮。
小结
ApolloWorld 最有价值的部分在于它把世界模型从生成视频的画师重新定位成验证安全的考官,并给出了 2+3 这套可讨论的坐标,那十万公里的数字只是配套说明。判断标准从看着像变成可量化,是这一轮技术传播里少见的硬内容。
同样值得记住的是那些没有被表格化的工程细节。激光雷达遇到雨滴的回波干扰、多智能体对每个车辆动作的实时响应、一整趟二三十分钟行程里状态的长期不漂移,这些才是把世界模型从演示变成考场的真实门槛。
要理解世界模型各条技术路线的差异,可以对照千诀 Polibrain 的跨形态隐变量复用与Google Genie 4 的两分钟原生音频模拟,形式化方向的另一端是清华代数世界模型 AWM 的 183 关全通与机器可检查证明,具身栈侧的落地进展参考蚂蚁灵波 LingBot 全栈 2.0 与逐际动力 FluxVLA V2 的推理加速。
延伸阅读
- 昆仑万维Matrix-Game 4.0:单张5090显卡跑出实时游戏世界模型3 周前
- Runway 发布 Solaris:把软件界面当视频实时生成,不用一行代码2 月前
- DeepMind造全球森林地图 10米精度准确率90.2%4 天前
- 百度搜索 AI API 降到 4.9 元千次:比 DeepSeek 5 元更低5 天前
继续读
同一批更新里这几篇值得一看:
- 蚂蚁灵波 LingBot 全栈 2.0:220 万下载与 9 个模型仓库2026-11-04
- 42AI 行为世界模型:6250 万美元种子轮与十家券商落地2026-11-03
- 清华代数世界模型AWM:ARC-AGI-3 183关全通,动作数仅人类43%2026-11-02
