布谷鸟产研-宝马电动车智能驾驶系统分析
宝马智能驾驶系统有几个特点:一、最后一道防线必须是传统可确定性的经典算法,深度学习是个黑盒子只能锦上添花;二、模块化,软件可复用度高,系统可灵活添加或去除,降低研发成本和周期;三、高可靠性,即是L3都设置了全独立硬件的Fallback。本文由布谷鸟科技-产研首席分析师周彦武老师编写。
宝马将在未来两年推出三款纯电电动车,一款为SUV性质的ix3,一款为轿车性质的i4,一款为混合风格的iNEXT。
2020年4月底,EE时代对Simon Fürst进行了采访,https://www.eetimes.com/unveiled-bmws-scalable-av-architecture/,透露了众多有关宝马自动驾驶计算系统的信息。Simon Fürst是宝马自动驾驶最重要(Principal)的专家。也是ISO 4804标准小组的主席。ISO Draft Technology Report (DTR) 4804是SaFAD联盟主导的一项ISO标准,在2019年中期,安波福、奥迪、百度、宝马、大陆集团、戴姆勒、菲亚特克莱斯勒、Here、英飞凌、英特尔和大众这11家企业组成的联盟发表了一份白皮书(自动驾驶安全为先,Safety First For Automated Driving,SaFAD)。在2020年2月,日本丰田、电装、法雷奥、马自达和日产与SaFAD联盟也举行了联合会议。
上图为宝马智能驾驶硬件系统路线图,实际这个路线图早在2017年初就已经制定,宝马当时已决定和英特尔(Mobileye)合作。宝马的逻辑是尽可能最大化复用研究成果,降低研发成本,模块化设计,可灵活添加或删除。
按照这副图,我们可以看出宝马的基本模块是L1级使用EyeQ4加英飞凌的Aurix MCU。L2使用英特尔的denverton 双核CPU加EyeQ5加两片英飞凌的Aurix MCU。一般来说L3系统不设Fallback,但宝马还是增加了一套Fallback(完全硬件独立,包括电源和线控执行系统,可靠性比非独立硬件要高得多),宝马的L3的Fallback系统就是L2系统。L4系统也是如此。而L3的主系统是一片CV(Computer Vision)版的EyeQ5和一片开放版高端EyeQ5,加两片英特尔denverton的8核CPU。英飞凌的Aurix MCU当然还在。传感器方面则增加一个前向激光雷达,应该是法雷奥Scala二代。L4用一个24核的至强处理器代替L3的两片8核处理器,又增加一片开放版高端EyeQ5。传感器方面增加侧方和后方激光雷达。
上图为英特尔的自动驾驶计算架构,与传统架构最大不同之处在于英特尔不是一开始就把所有传感器输入,而是在轨迹规划阶段才输入激光雷达和毫米波雷达的数据,这样会分散前端数据运算压力,减少接口使用,尽量避免用昂贵的以太网交换机。在L3(宝马得L3比国内那些吹嘘L4还要先进许多,有些厂家用EyeQ4就吹嘘L3了,在宝马那里不过是L1)系统里,使用了两个8核的英特尔CPU,在L4里使用了24核至强服务器CPU,自动驾驶的执行部分不需要这么强的算力,应该是第二个EyeQ5只负责传感器融合与目标追踪,路径规划(包括全局规划、轨迹规划、避障规划)还是由英特尔的CPU完成,这些运算主要是通用标量非矩阵运算,不是EyeQ5擅长的乘和累加MAC运算。
L2系统称之为mPAD(middle pilot autonomous driving),L3为hPAD,L4为uPAD。在2018年底宝马曾经公开展示过这些控制器盒子。L3和L4系统都是水冷。
上图为安波福为宝马打造的mPAD
上图为mPAD内部拆解图,英特尔CPU在背面
不过按照采访Simon Fürst的文章,则和宝马提供的路线图大相径庭。The platform’s baseline uses Infineon’s Aurix and Renesas’ R-CAR SoCs to optimize its application in stereo front cameras.按照文章里所说的,宝马智能驾驶的基本系统是瑞萨的H3加V3H构成的前向立体双目系统。而在路线图里瑞萨的H3加V3H只是自动泊车部分。众所周知,宝马自2018年似乎放弃了立体双目,全面转向三目系统。这让人非常疑惑。有几种可能,第一种,采访文章完全是错的,路线图是对的。第二种,采访文章是对的,路线图错了,但错误不多,宝马结合了EyeQ5的三目和瑞萨的立体双目,宝马又重走立体双目的回头路了。第三种,采访文章和路线图都是错的,宝马没说实话。第四种,采访文章和路线图都是正确的,只是用在不同车型上。
https://electrek.co/2020/04/27/bmw-ix3-electric-suv-production-version/,在上个月的网络信息里我们看到了ix3的无伪装照片。
Alleged pictures of the production version of the BMW iX3 electric SUV have leaked ahead of the start of production.还指出这是量产版本,这个照片显示的显然是采用了双目系统。不过也有很多谍照显示的是三目系统。
有伪装的谍照大多显示为三目系统
上图为宝马i4的无伪装照,似乎没有前置摄像头。不过多说一句,i4的内饰很漂亮,与传统的宝马非常不同。
宝马i4内饰
宝马L3/L4智能驾驶软件架构
宝马L3/L4主系统计算路径,Fallback系统监督主系统,当得知主系统计算的路径会发生事故或碰撞时,Fallback系统会切换为主系统,主系统使用人工智能的非确定性算法,Fallback系统使用经典的确定性算法来保证安全。Simon Fürst认为大部分地方ASIL B级即可,D级只用在极少地方。对于感知,宝马认为关键不是探测目标,而是预测目标的移动轨迹并根据轨迹计算出可行使空间。这些恰恰是激光雷达和双目最擅长的(光流法)。对于轨迹规划,宝马主要依靠激光雷达估算道路曲率,激光雷达制作的地图也可以提供曲率,卡迪拉克的超级巡航就是如此,激光雷达高精度地图也有助于定位,Simon Fürst对Mobileye推崇的视觉定位REM只字未提。对于传感器融合,Simon Fürst不以为然,他认为传感器融合目前只是科研阶段,远未到实用阶段,这与特斯拉观点一致,特斯拉就是纯视觉系统,没有传感器融合。The industry still needs to build a fundamental understanding on how different algorithms should apply to different sensor modalities.传感器融合目前对性能提升微乎其微,有时可能更多漏报,安全性反而降低,但成本和复杂度都大幅度增加。
看英特尔的CPU,denverton是英特尔在2016年下半年推出的边缘计算Atom C3XXX系列CPU,采用14纳米工艺,代号为“Denverton”和“Denverton-NS”。C3XXX系列分三个目标市场,一个是服务器和云存储,一个是网络与企业存储,最后一个是IoT。C3XXX系列没有针对车载的产品,英特尔车载Atom是A39X0系列。不过IoT系列最高运行温度85度,勉强可算车规。所以宝马使用水冷而不敢用自然冷却。
自从特斯拉对车规不屑一顾后,传统车厂也有所动摇,EyeQ5未通过功能安全认证,Xavier申请功能安全认证已经超过两年,但目前官方还只能说Target。所以用C3XXX系列也不奇怪。显然双核Denverton是C3308,8核是C3708。
C3XXX系列平台内部框架图
宝马为何要采用非车载应用的C3XXX系列芯片,主要是看重C3XXX的以太网MAC和交换功能,C3XXX系列针对的目标市场主要就是CPE。
上图为C3XXX系列的LAN控制器部分,双核也有4个2.5G的AMC,8核则有4个10G的MAC。在L3/L4计算系统里,除了主芯片,最贵的就是以太网络交换芯片,如果端口较多且多10G级别,性能强大,以太网络交换芯片价格可能超过EyeQ5这样的主芯片。C3XXX系列CPU用的好的话,传感器不多的话,可以不用昂贵的以太网络交换芯片。当然Phy物理层还是少不了的,英特尔产品线齐全,以太网络交换和物理层芯片都有,但都没有车规版的。
至于24核的至强处理器选择范围很窄,大部分24核至强处理器功耗都在160瓦以上,标准零售价都在4500美元以上,宝马只能选择至强金牌6262V,功耗是24核至强里最低的,只有135瓦,标准零售价2900美元。不过英特尔在2020年4月刚刚推出的针对5G服务器的Atom P5962B也可以,这是首款基于10nm制程和新的Tremont架构的Atom处理器,最高运行温度为85度,勉强达到最低级车规级别。功耗参数未提供,预计80瓦左右。
R-CAR V3H推出于2018年2月,2019年3季度量产。内涵4个A53内核,一个Cortex-R7@0.8GHz内核,也达到了ASIL B级别。
瑞萨使用三种加速器,一种是基于管线引擎的IMP-X5加速器,他拥有用于固定功能的流水线计算。近似于GPU。也有电脑视觉引擎CVE,采用可编程的电脑视觉引擎将浮点运算降至最低。。另一种是硬核加速器,包括针对双目的立体视差和光流。还有一个聚类器。最后是一种类似多核DSP的CNN加速器。总性能达到426GMAC。也就是每秒4260亿次乘积累加,功耗仅为0.3瓦。
瑞萨产品规划第四代R-CAR大约在2023年量产,而V3U也是第四代产品,预计将在2022年量产,这是一款12纳米芯片。瑞萨表示12nm工艺R-Car SoC V3U的AI性能可以达到6.0TOPs/W,远高于英伟达的Xavier平台和Mobileye的EyeQ5平台。
瑞萨V3H已经慢慢建立了自己的生态系统。在初创公司领域有韩国的Stradvision、以色列Cortica和加拿大的Leddar tech合作伙伴。Stradvision是韩国现代和LG投资的初创企业,早在瑞萨开发V2H时已经和瑞萨合作,顺便提一下,日产号称L3的用于天籁(北美型号是Skyline)的 ProPILOT 2.0就使用了瑞萨的RH 850和V2H,当然主芯片还是Mobileye的EyeQ4。系统由日立提供。
初创公司外,瑞萨主要与博世和海拉合作。同时V3H也有望取代日立的双目ASIC。
博世寄予厚望的下一代主前视觉系统MPC3内置了瑞萨的V3H。于2019年底量产,已经获得大众和奥迪的订单。除传统深度学习外,还有基于光流的非模型算法,能够预测目标运动轨迹。对运动目标敏感度高,260万像素,帧率达每秒45帧,比30帧更安全可靠,能够适应LED灯的闪烁现象。能够适应复杂的环境。明确表示达到ASIL-B级,是使用深度学习系统中唯一能够达到ASIL-B级的摄像头。因为V3H是唯二已经拿到ASIL-B级认证的芯片,而不是正在申请功能安全认证(大部分都是写Target),Mobileye是没有功能安全认证的。
宝马的自动驾驶安全性远超特斯拉FSD,但马斯克搞SpaceX,全球星链,移民火星,俨然是一副科技教主的面孔,在全球范围内赢得众多铁杆粉丝,公众对其自动驾驶安全性宽容度极高,即使事故频发,频繁降价,减配等也丝毫无损特斯拉和马斯克神一般的地位。可以说除特斯拉外的车厂安全性需要高特斯拉10倍才能被认同,而特斯拉安全性只要有传统车厂的1/10,就足以轻松征服全球市场了。