2023年6月17日,首届理想家庭科技日在理想汽车常州智能制造基地举行。在“双能战略”指引下,理想汽车在智能空间、智能驾驶和高压纯电平台的研发上均实现了重要突破。以Mind GPT为核心的理想SS智能空间和本月即将开启城市NOA内测的理想AD智能驾驶同时进入大模型时代,支持5C充电的理想800V高压纯电平台将开启充电速度的5G时代。
在先进的技术架构和高效的训练平台共同推动下,我们相信智能驾驶将会很快在家庭出行中实现大规模普及,“AI司机”解放人类司机的明天也不再遥远。
进入大模型时代的理想AD Max 3.0正在以过去难以想象的速度成长和迭代。
在产品层面,本月内,我们即将向北京和上海的内测用户交付不依赖高精地图的城市NOA功能,让用户们可以拥有一个持续进化的“AI司机”。下半年,我们将向用户开放通勤NOA功能,让用户拥有属于自己的“专属电梯”,每天上下班更轻松、更便捷。
在技术层面,我们使用AI大模型技术,应对所有场景挑战、并且可以高效迭代、最终解决所有问题。
不依赖高精地图的城市NOA
视频展示了不久前42号车库在北京顺义和望京区域,对理想城市NOA的体验。复杂的城市自动驾驶场景,包括大路口左右转、人车混行场景、绕行违停车辆场景等,只用规则算法是无法解决的。但通过AI大模型的帮助,我们已经做到了接近人类司机的驾驶表现。
通过大模型算法,理想城市NOA做到了以下几点:
1. 感知算法:像人一样不依赖地图、识别万物
不依赖高精地图的核心是采用了BEV大模型,来实时感知和理解环境中的道路结构信息。通过大量的训练,目前我们的BEV大模型,已经可以在绝大多数的道路和路口,实时生成稳定的道路结构信息。
但是随着研发的深入,我们发现对于城市中的复杂路口,仅通过BEV大模型来进行感知依然不够稳定。例如在一些跨度较大的路口,通行车辆较多,传感器视野容易被遮挡,导致车端实时感知的结果会丢失局部的信息,显得不够稳定。
针对这类复杂路口,我们的做法是使用自研的神经先验网络(NeuralPriorNet),简称为NPN网络,提前进行路口NPN特征的提取。当车辆再次行驶到该路口时,将之前提取好的NPN特征拿出来,与车端感知大模型的BEV特征层相融合,就得到了完美的感知结果。
NPN特征是一堆神经网络参数,人类无法从这些参数直接理解复杂路口形态,但是大模型可以。相比高精地图,NPN特征的信息量更大、保密性更高。它用网络模型替代了人为规则,进行环境信息的理解和环境信息的使用。
通过NPN特征增强BEV模型这个工作,是我们与清华大学交叉信息学院的赵行教授课题组,一起合作的最新研究成果。该项工作的论文,会发表在AI领域的国际顶级会议CVPR上。感兴趣的朋友可以下载这篇论文进行学习和研究。
光看明白路口还不够,“AI司机”还得理解路口红绿灯的通行规则,这是城市道路的另一个难点。主流的做法是建立一套信号灯与道路的通行意图的规则算法,但我们还是选择用大模型解决。
我们训练了一个端到端的信号灯意图网络(TrafficIntentionNet),简称为TIN网络。不需要人为设定任何规则,甚至不需要识别红绿灯的具体位置。只要将图像视频输入给TIN网络模型,网络就能直接给出车辆现在该怎么走的结果——左右转、直行或停止等待。我们通过学习大量人类司机在路口对于信号灯变化的反应,来训练TIN网络模型,得到了很好的效果。
如下图所示,在路口处,TIN网络根据输入的视频图像,实时给出的路口不同通行意图的概率,概率值最大的就是实际使用的意图,这与信号灯的指示是完全一致的。当红灯亮起时,网络输出等待概率值最大,车辆保持等待。绿灯亮起时,网络输出的左转概率提升到最大,车辆开始左转。虽然结果看上去很简单,但背后用到的技术是非常领先的。
除了静态的道路信息,智能驾驶系统还要像人一样识别万物,才能确保“AI司机”在真实世界里自由行驶。
我们仍然通过BEV大模型来解决。不仅能够准确识别真实世界里车、行人、骑车人的三维空间位置,还能预测他们在时间维度上未来几秒的轨迹,真正做到四维的感知。
面对道路上可能会出现的通用障碍物,比如施工路障、遗撒物体、卡车后斗伸出的货物等,我们使用Occupancy网络,来精准地识别它们的边界和类型。近几个月,我们的Occupancy网络又进行了疯狂迭代,“喂”了大量训练里程,识别的内容和准确性又得到了很大的提升。
2. 规控算法:像人一样自由操控
为了让“AI司机”在驾驶决策和轨迹上,也像人类司机一样做出合理的判断,我们在规控算法上应用了模仿学习的方法,通过大量驾驶员的驾驶行为进行训练,让城市NOA的决策和规划,在保证安全、符合交通规则的前提下,做出更像人类驾驶员的判断。
例如当车辆需要右转的时候,按照交通规则,可以选择右转后两条车道的任意一条来汇入。但通过观察大量的人类开车的轨迹,我们发现90%以上的用户都会走右二车道而非右一车道,因为右一车道的安全性和效率都不如直接走右二好,而且走右二车道的转弯半径更大,转弯过程更加平稳,会让家人更舒适。所以,我们的模型在这个路口学习训练的最终结果,也是倾向于走右二车道。
通过上述的机制,我们城市NOA的决策和规划,都会向人类驾驶员学习,做出更优的判断,生成更好的行车路线。接下来我们会持续迭代规控模型,指导我们的智能驾驶系统成为更加聪明的司机。
3. 训练平台:像人一样持续进化
大模型的进化,需要一个强大的基础训练平台,才能完成快速高效的训练和迭代。我们很早就开始训练平台的建设,到今天为止,它已经成长为拥有1200 PFLOPS算力的自动驾驶训练集群。我们的自动驾驶训练里程,已经突破了6亿公里。
在这个平台上,我们的大模型可以进行高度自动化的闭环学习训练。整个训练过程主要包括如下五大步骤:样本采集、样本挖掘、样本标注、模型训练和测试验证。上述能力让智能驾驶的大模型可以飞速地成长,这也是我们的城市NOA,可以在短时间内迭代如此快速的根本原因。
4. 城市NOA开放逻辑
一个城市能不能开放使用城市NOA,主要取决于该城市复杂路口NPN特征的完成情况。
通过统计城市NPN覆盖的研发平台,我们可以查看现在NPN的覆盖情况,上面的每一个点,代表一个需要制作NPN特征的复杂路口。其中绿色代表该路口的NPN特征,已经通过测试验证,是可用状态,红色代表已经有NPN特征但有待验证,灰色代表没有NPN特征。
目前全国范围内已经有很多红色的NPN特征点了,而在早早鸟和测试车高频出现的北京和上海,已经有不少绿色可用的NPN路口了。接下来,早鸟用户加入后,这些点变成绿色的速度会越来越快,也就意味着城市开放的就越来越多。
你更需要的通勤NOA
上下班通勤,通常是一天中最疲惫,最需要辅助驾驶的时间。如果这条路能用NOA开,就解决了大问题。所以,我们推出了大家更需要的通勤NOA产品。
有了通勤NOA,无需等待整个城市NPN特征训练好,只要设定好自己的通勤路线、自车学习NPN特征,学成之后就可以在这条路线上使用NOA功能了。如果每天通勤,简单路线1周以内即可完成激活,较复杂的路线预计2-3周足以完成训练。
我们预估通勤NOA可以覆盖理想车主95%以上的通勤场景。在通勤NOA使用过程中,各个模型仍会不断地迭代训练,越开越好,让体验越来越棒。
有了通勤NOA,就好像在上下班路上拥有了自己的“专属电梯”,绝对是你当下需要的NOA功能。
总结
本月,我们将开启北京和上海的城市NOA内测,早鸟用户可以率先使用城市NOA功能。下半年,我们将开放通勤NOA功能,以及更多的城市NOA区域,让每个早鸟用户都可以在日常上下班时使用NOA导航辅助驾驶。
这一切就是AI大模型技术带来的先进成果,AD Max 3.0平台通过领先的技术架构和出色的迭代效率,将逐步满足所有城市、所有用户,在城市道路上使用NOA功能的需求。我们相信,当通勤NOA和城市NOA大规模拓展以后,将会是中高端车不配备就卖不好的“刚需配置”。
评论
加载更多