New lifestyle
Advocates

k8凯发(中国)天生赢家·一触即发

关于k8凯发 关于k8凯发 发展历程 经营理念 核心优势 品牌介绍 工程案例 联系我们 招商加盟 加盟优势 加盟扶持 加盟流程 凯发k8一触即发 公司动态 家居订制 百科知识 产品中心 十大空间 风格系列 配套家居 我们的服务 预约设计 订单查询 门店查询 投诉入口 招聘入口 社会招聘 校园招聘 k8凯发天生赢家一触即发

新生活方式倡导者 百科知识

Corporate
news

首页 > 凯发k8一触即发 > 百科知识
凯发K8国际官网ICCV涌现自动驾驶新范式:统一世界模型VLA用训练闭环迈向L|

  在端到端一统江湖但数据瓶颈开始成为新挑战后ღღ,必须转向强化学习ღღ,必须把云端生成式世界模型作为新基座ღღ。

  特斯拉自动驾驶副总裁Ashok Elluswamy在演讲中透露凯发K8国际官网ღღ,当前特斯拉正在用世界模拟器来评估车端模型ღღ。几乎同时ღღ,理想VLA模型负责人詹锟也围绕世界模型ღღ,在具身智能研讨会做了题为《World Modelღღ:Evolving from Data Closed-loop to Training Closed-loop》(世界模型让我们从数据闭环走向训练闭环)的分享ღღ。

  首先回忆一下上半场ღღ,端到端架构统一自动驾驶的技术栈ღღ,释放了Scaling Law的潜力像素岛ღღ,让AI能力快速提高ღღ。

  但理想很快发现ღღ,AI基于模仿学习只能学到数据的平均水平ღღ,难以超越人类司机的能力ღღ,技术范式需要改变ღღ。几乎同时ღღ,大规模算力基础设施和高保真仿真环境技术也在快速成熟ღღ,为范式迁移创造了条件ღღ。于是理想决定从数据闭环迈向训练闭环像素岛ღღ。

  数据闭环大家都很熟悉了ღღ,就是数据采集ღღ、模型训练ღღ、评估和部署的循环ღღ,但这无法覆盖到一些边缘场景ღღ。

  具体实现方法如下ღღ:理想在云端构建了一套世界模型训练环境凯发K8国际官网ღღ,来训练具备先验知识和驾驶能力的车端VLA模型ღღ。这是全球首个将世界模型与强化学习闭环落地于量产自动驾驶系统的完整架构ღღ。

  由于行业对世界模型的定义有所不同ღღ,这里需要说明一下ღღ,理想所说的世界模型是一个全面的系统ღღ,包括环境的构建ღღ、智能体的构建ღღ、反馈的构建以及场景的多种推演世界模型是理想此次在ICCV分享的核心内容ღღ,据介绍该系统主要具备三大能力ღღ:

  首先是区域级别的仿真和评估ღღ,这是车端VLA能进行长时序拟真评估的关键ღღ。据介绍凯发K8国际官网ღღ,理想目前采用重建和生成结合的仿真路线ღღ。

  因为在理想看来ღღ,重建和生成各具优势ღღ。重建能把操作对象完美还原凯发K8国际官网ღღ,稳定性更好ღღ,但一般输出的是静态结果ღღ。

  比如理想此前参与的首个自动驾驶3DGS街景重建算法Street Gaussians像素岛ღღ,该工作被顶会ECCV 2024收录ღღ。

  Hierarchy UGP是业内首个大规模自动驾驶重建模型ღღ,在作者专有的数据集和公开的Waymo数据集上都实现了SOTAღღ。

  该模型分为根ღღ、子场景和图元三层ღღ。其中根层是入口ღღ,然后子场景层将空间进一步划分ღღ,并提取出各种元素ღღ。最后图元层用定义在4D空间的统一高斯图元(Unified Gaussian Primitive)将元素建模ღღ。这个方法可以同时对刚性和非刚性运动重建像素岛ღღ。

  以上两项成果主要围绕重建工作ღღ,此外在重建和生成结合方向上ღღ,理想还联合GigaAI提出基于补充生成新视角的重建范式ReconDreamerღღ,相关成果入选了今年的CVPRღღ。

  尽管过去在重建方面取得了不错的成绩ღღ,但詹锟认为由于生成方式能低成本ღღ、大规模生成边缘场景ღღ,而且数据很多样ღღ,所以未来的仿真工作中ღღ,重建的占比将越来越少像素岛ღღ,对应地生成的占比越来越多ღღ,而且该趋势不可逆ღღ。

  探讨完世界模型的第一层应用仿真ღღ,再往下来看合成全新数据能力ღღ,可以构建多样的场景集ღღ,让场景的数据均衡分布ღღ,最终实现更全面的评估ღღ,提高模型性能ღღ。

  在理想看来ღღ,合成数据主要有场景编辑ღღ、迁移和全场景生成这三层应用ღღ。这项能力让理想的数据更全面ღღ,从下图中可以看出ღღ,过去依靠采集方式获取的数据(上半部分)ღღ,集中在晴天ღღ、普通道路和普通车辆等简单场景ღღ,而现在与合成的数据结合后(下半部分)ღღ,覆盖场景更广ღღ、极端案例更多ღღ、种类更加复杂ღღ,对应地模型能得到更全面的提升ღღ。

  最后一层应用是理想认为最具挑战性的强化学习世界引擎ღღ,这一层让模型能在训练环境中自由探索并获得反馈ღღ,主要有五大关键因素ღღ:

  在五个因素中ღღ,理想认为仿真智能体是目前最棘手的问题ღღ,完整地建模他车ღღ、他车和自车以及他车和他车的交互行为ღღ,甚至比实现单车L4级自动驾驶还要难

  詹锟在分享中介绍了两种解决方法ღღ,一种是业内此前尝试过的自博弈(Self-play)ღღ,另一种是理想应用的范式ღღ。其通过给定目标函数和奖励函数来约束多个智能体的行为ღღ,包括他们的个体动态和交互动态ღღ,同时通过调整奖励权重改变智能体的行为分布ღღ,从而实现样本多样性ღღ。

  上述一系列技术成果推动着理想的辅助驾驶能力快速进步ღღ,开始通过渐进升维方式ღღ,向L4迈进ღღ。詹锟在分享中还展示了一小段理想在园区内部道路的辅助驾驶能力ღღ。

  理想在一众造车新势力中率先实现盈利ღღ,跑通商业化闭环ღღ,这是其近年科研成果不断开花落地的重要原因ღღ。

  2023年和2024年ღღ,理想全年研发投入连续超百亿元ღღ,2025年上半年财报显示ღღ,理想同期研发投入为53亿元ღღ,预估今年仍将超过百亿ღღ。

  数百亿砸向的不仅仅是上层的辅助驾驶算法ღღ,还包括底层的整车操作系统理想星环OSღღ。星环OS首次上车于2024年ღღ,一方面实现了开发过程中的软硬件解耦凯发K8国际官网ღღ,将芯片的适配和验证加快至4周内完成凯发K8国际官网ღღ。

  另一方面ღღ,星环OS上车后打通了整车割裂的多个模块ღღ,提升了车辆整体的性能ღღ,以AEB(自动紧急制动)功能为例ღღ,实现该功能一般需要经过以下三个环节ღღ:

  整个功能链路经过了多个控制器ღღ,它们分别属于不同域ღღ,信息在每个环节中传递ღღ,就像咱们工作中要协调多个部门ღღ,在传统架构下会产生一些延迟ღღ。而星环OS采用跨系统架构设计ღღ,能够让不同控制器响应更快ღღ,协调更好ღღ。

  据理想介绍ღღ,在车辆以120km/h速度行驶的情况下ღღ,星环OS相比传统OS可以缩短7米刹停距离ღღ,7米距离ღღ,极端情况下很可能就是两个相反的结果ღღ。

  该成果不仅服务着130多万名理想车主ღღ,在今年也开始惠及整个行业ღღ。2025年3月ღღ,理想星环OS正式亮相随后开源ღღ,相关源码逐步公开ღღ。

  据理想介绍凯发K8国际官网ღღ,自研星环OS投入资金超10亿凯发K8国际官网ღღ,上车后每年整体降低了几十亿BOM成本ღღ。所以说ღღ,这项成果开源给行业后也能够帮助很多车企省去数亿元研发预算ღღ,快速获得整车OS能力ღღ。

  自己开源ღღ,帮行业节流ღღ,一个围绕星环OS的生态联盟很快成形ღღ。2025年9月ღღ,长城汽车ღღ、英飞凌ღღ、芯驰科技ღღ、汇川联合动力ღღ、欣旺达和德赛西威等16位产业链玩家与理想汽车共同签署《星环OS社区章程》ღღ。

  值得一提的是ღღ,理想的开源成果不仅得到了工业界的积极响应ღღ,也被学术界AI顶会认可ღღ。本届ICCV就收录了理想的开源数据集3DRealCar

  3DRealCar采用完全开放可商用的Apache 2.0开源协议ღღ,其包含了2500辆真实汽车ღღ,平均每辆车采集了200张高分辨率RGB-D图像ღღ,是目前行业唯一的高质量ღღ、大规模线度视角和不同光照条件ღღ。装修百科ღღ,k8凯发天生赢家一触即发ღღ,k8凯发ღღ,凯发k8娱乐官网ღღ,

预约免费量尺

Appointment free scale

投资加盟

Investment alliance

加盟合作
加盟热线

全国统一服务热线

4008-788-588

顶部