智能驾驶发展的关键技术要素概述
01 融合定位:面向未来的智能驾驶关键设计要素
智能驾驶大时代,汽车变革新未来。汽车软硬件以及内部架构、行业竞争 格局、产业链价值分配也将发生深远变化。在此变革浪潮下,我们认为智 能驾驶将相继历经辅助驾驶利用率提升、自动驾驶方案成熟、自动驾驶生 态完善三个阶段,并分别带来硬件、软件系统和商业化运营三波机会。
其中,高精地图(HD Map=high definition map )作为其导航和定位的关键因素,也将发生重大的设计变革。这主要体现在如下几个重要的方面:
- 高精地图与导航地图
导航地图提供的是一段车道的长度和相关路程的大概路况。而高精地图提供的是非常详细的道路情况。比如路标,倾斜度,车道线还有车道线所处的位置。这些都会在高精地图上标记。高精地图中连某个交通灯的位置都有高精度的GPS数据标注。所以在无人车在道路上行驶的时候只要有全局路径规划中做出来的路径,再把这些路径转换为每个车道线级别的路径的时候,无人车就可以根据高清地图上标记的每个车道线的中心线行驶。
- 高精地图与其他模块的联系
高精地图和无人车的其他模块都有联系,定位,预测,感知,规划,安全,仿真,控制,人机交互,这些都需要高精地图帮助。有的模块倒不是说没有高精的图就不可以实现这些功能而是有了高精地图的帮助他们可以获得更准确的信息同时也能做出更加适合当时路况的决策。这里不对更详细的技术东西进行阐述, 只是对他们大体的思路进行一个解释
- 高精地图和定位
高精地图在定位的主要作用就是,它为定位提供了已经确定好的静态物体的信息。那么无人车就可以根据这些静态物体的信息,反过来找到自己在整个地图中的相对位置。如果这些静态物体有自己本身标注好的高精度的经纬坐标的时候,无人车就可以根据这些经纬度坐标来反向求自身的经纬度坐标,从而实现基于高精地图和激光雷达摄像机等传感器融合的定位方法。通过这种方式就可以摆脱依赖GPS的数据。因为GPS的数据在有数据阻挡的情况下他的噪音是非常强的。当然现在这个阶段基于雷达跟视觉的传感器融合的定位方法的精度没有差分GPS提供的数据准确,但是也不失为一种定位方法。毕竟在没有GPS信号的时候,车辆不可能是在没有自身定位信息的情况下行驶, 这时候只能依赖其他的定位方式。
- 高精地图和决策
那高精地图跟决策模块的关系就更简单了。因为车辆如果知道以后自己要走的路线和自己要走的路线相关的路标交通灯道路信息,那么决策模块就可以做出更加匹配当时路况的决策。就相当于我们如果知道未来会有什么事情的时候,就可以及时调整现在的行为以应对未来会发生的情况。
- 高精地图和仿真模块
高清地图和仿真模块的关系就比较好理解因为我们只要在有高精地图标准的地图上,对车辆进行定位或者是其他算法的验证的话,那么在实际应用当中车辆获取的信息跟我们在仿真中获取的信息是一样的。也就是说我们在仿真环境中搭建的代码,很大程度上在现实环境中也可以使用。
- 高精地图和感知模块
无人驾驶当中感知模块是一个比较复杂的模块。因为它涉及到很多很多现实中的问题。但实际上我们感知的大部分环境里很多东西都是静态的。那么在这种静态的环境中我们不需要用额外的计算能力去计算可以事先存在数据库中的东西。就比如某一个大楼他在某一个位置那么不管车辆行驶到这个位置多少次,每次看到的大楼都是在那一个点上。不管感知方式是什么这大楼的位置都不会随着车辆的感知发生变化。那么这种东西就可以由高精地图采集车先采集它的具体位置,然后把这些数据存到无人车的本地硬盘上。那么无人车就可以根据这个数据库,每次行驶到那个大楼面前的时候,不经过识别就知道那边有一个建筑物。跟定位模块一样,如果我们知道这个建筑物的高精度坐标的时候,我们可以根据这个坐标反求自身所在的位置。而且也可以根据事先做好的大楼的形态还有它的物理特征, 集中计算能力去识别除了这个大楼以外的动态的物体。
- 高清地图和控制模块
控制的具体内容很多详细的内容,我也不是很清楚。但是如果是为了控制转向角的话,那么高精地图所提供的车道线的中间线的数据是必不可少的。因为虽然会基于摄像头来识别车道线,然后根据这个车道线来识别中心线的位置。但是这些东西还是没有高精地图提供的数据准确。毕竟基于摄像头的车道线识别都是实时的, 肯定会偶尔出错 。或者车道线因为长时间没有维护而变得看不清的时候,那么摄像机就不能识别到相应的车道线信息,这时候就需要高精地图。车道线是人驾驶中非常重要的一个数据,所以现阶段的基于摄像机的自动驾驶只能在高速公路上实现。因为只有高速公路上的车道线的保养状态比较好。可以比较容易被识别出来。相反,在城市环境中的车道线维护的就不是很好。所以在城市道路当中基于摄像头的自动驾驶方式暂时还不可取。
- 高精地图的制作工艺
这边说实话我也没有涉及过但是听老师说是这样的。高清地图是先由装有的各种传感器的车辆进行扫街。这种车辆在扫过每一条街之后,他可以获取相关的点云信息和摄像机信息还有其他高精度的经纬度信息。之后工作人员会基于这些信息,线下对它们进行进一步的编辑。这里涉及到的就是点云拼接,摄像机识别的道路信息,比如车道线,比如斑马线,比如交通信号灯。这些静态物体都是要由工作人员进行进一步确认并标注好的。虽然采集车辆上的摄像机会进行初步的特征识别提取这些道路相关的特征。但是毕竟是基于计算机视觉的,提取的并不是100%正确的信息,也有可能是错的,也有可能是某些标注没有标好。所以最后一步还是要有工作人员进行最终确认并标注的。
- 高精地图的制作工艺支持边缘计算的V2X高精度地图服务
未来自动驾驶的发展主要走向智能化、网联化两大方向,其重点是从车端智能化逐渐过渡到路端甚至云端智能化的方向。而针对高精地图部署来说,最重要的几个点是其云端、路端和车端上所产生的一系列升级和变革。其中,云端变革主要涉及高精度地图服务、分片数据聚合、数据接边、数据分片几个方面。而路侧端主要涉及分片地图众包更新、地图版本管理、地图分包、路侧动态信息优化、地图消息服务等几个方面。应用到车端时,要求在分包数据融合、V2X场景还原、高精地图引擎也随之更新。
地图的如上迭代更新过程可应用于实现L4/L5级无人驾驶功能,生成相关的机器人控制模式,也可在商用车的实现中发力,最终实现无人驾驶甚至远程驾驶。
02 面向量产的高精度融合定位解决方案
很显然,高精地图要实现精准定位和不断向前延展提升其功能性能就必须通过不断的优化自身的融合定位方案来获得。这一过程包含两个主要的软件算法。其一是通过全状态-扩展卡尔曼滤波进行车辆位姿的动态最优估计;其二是使用视觉传感器获取道路环境的语义信息,通过精确地图匹配算法获取精确位置。此外,需要提高经济性、适配度及整体性能。通过选择配置工业级车载终端RTK:采用高性能工业级32位处理器,内置高精度RTK板卡;通过3G/4G/5G与千寻平台建立通道,把GGA信息发给差分服务器,同时接收差分信息后,再通过 RS232输出精准位置信息。
高精地图最重要的过程是包含地图众包的采集与分发。关于众包式地图数据的采集,实际上可以理解为用户通过自动驾驶车辆自身的传感器,或其他低成本的传感器硬件,收集的道路数据传到云端进行数据融合,并通过数据聚合的方式提高数据精度,来完成高精地图的制作。整个众包流程实际是包括物理传感器报告、地图场景匹配、场景聚类、改变检测与更新。
04 基于地图开发的自动驾驶的全新架构
将面向何方?
当前自动驾驶系统的高精地图架构仍然面向分布式方式,其重点关注项包含地图众包采集,地图盒子对于高精地图原始信息的解析,地图如何对其他传感器输入数据进行融合等方面。这里我们注意一点,未来的自动驾驶系统架构中将不断的从分布式的开发方式进化为集中式。集中式的方式可以被看成分三两步走:
Step1:智能驾驶域全集中式控制方案
即,将智能行车ADS、智能泊车AVP系统进行全集中控制,采用一套中央预处理装置将两大系统中索要处理的信息进行融合、预测、规划等处理方式。而与智能行车和智能泊车相关的所有传感及数据单元的处理方式(高精地图、激光雷达、全分布式摄像头、毫米波雷达等)都会相应的被融合进入中央域控制单元。
Step2:智能驾驶域与智能座舱域全集中式控制方案
这种方式是实现全集中式分布方式的第二个阶段,即将智能驾驶域控制器所涵盖的所有功能开发(如自动驾驶、自动泊车)与智能座舱域所涵盖的所有功能开发(包含驾驶员监控DMS、影音娱乐系统iHU、仪表显示系统IP)进行融合覆盖。
Step3:智能整车域全集中式控制方案
这里是实现包含智能驾驶、智能座舱与智能底盘域的全融合控制方式。即三大主体功能并入整车中央控制单元,后期对于该数据的处理将对域控制器产生更多的性能(算力、带宽、存储量等)需求。
这里我们所关注的高精地图定位开发在未来将更多的面向集中式的设计方式。我们将进行详述。
如上图表示了针对高精地图在未来自动驾驶系统控制中的架构发展趋势。未来自动驾驶系统将致力于将感知单元、决策单元及定图定位单元等全部并入中央域控制单元,意在从底层减少对于高精地图盒子的依赖。其域控制器的设计中充分考虑对于AI运算芯片SOC、逻辑运算芯片MCU、高精地图盒子的充分融合。
如上图表示了整个云端控制逻辑下相应的高精地图传感数据采集、数据学习、AI训练、高精地图服务、仿真等方面的业务,同时在车端的移动和验证过程中会通过物理感知、动态数据感知、地图目标感知、定位、路径规划等内容不断更新地图数据并进行OTA上传至云端更新整体的众包数据。
前文所述了关于高精地图数据如何生成可以为自动驾驶控制器处理的相关数据方式流程,我们知道高精地图所处理的原始数据为EHP数据。该数据实际包含如下主要的数据支撑:
1:接收的外部GPS位置信息;
2:位置信息匹配到地图;
3:建立路网拓扑信息;
4:通过CAN发送数据;
5:融合部分导航数据;
该数据一般是通过千兆以太网从HDMap感知端直接处理完成后输入至高精地图中央处理单元的,该中央处理单元我们称之为“高精地图盒子”。通过地图盒子对数据的进一步处理(这个实际的处理过程我们将在后续的文章中进行具体说明),可以转化为可以满足自动驾驶控制器处理的EHR(实际为CanFD)数据。
对于下一代自动驾驶系统而言,我们致力于将高精地图的信息综合接入自动驾驶域控制器进行整体处理,这一过程意味着我们自动驾驶域控制器需要接续地图盒子所要进行的所有数据解析工作,那么我们需要重点考虑以下几点:
1)自动驾驶域控制器AI芯片能否处理包含高精地图所需要的所有传感器数据?
2)高精定位地图的逻辑运算单元是否具备足够的算力执行传感器数据信息融合?
3)整个底层操作系统是否满足功能安全需求?
4)AI芯片与逻辑芯片采用怎样的连接方式可以确保数据传输的可靠性,Ethernet 还是 CanFD?
为了回答如上问题我们需要分析如下图所示的控制器处理高精地图数据方式。
为自动驾驶系统的AI芯片,在未来高精地图数据处理中主要承担传感数据的基础处理,包含摄像头数据、激光雷达数据、毫米波数据等。在应用的处理方法上除开基本的数据点云融合、聚类外,还包括了常用的深度学习算法,且一般采用ARM核进行中央运算处理。
MCU作为自动驾驶域控制器逻辑运算单元后续会承担将原来高精地图盒子需要的全部逻辑计算量。包括前端的矢量聚合、传感融合定位、建立路网图,以及最为重要的替代原来的地图盒子功能,将EHP信息转化为EHR信号(对于中央处理器MCU如何有效的将EHP信息转化为EHR信息将在后面的文章中进行详述),并通过Can线进行有效的信号传输。最终利用AutoBox这一逻辑运算单元进行路径规划、决策控制等操作。
05 总结
未来的自动驾驶将倾向于将高精地图所处理的所有数据信息从原始地图盒子中融入到自动驾驶域控制器中,旨在建立真正的以整车域控制器为集成单位的中央处理大融合。这样的方式不仅能够节省更多的计算资源,也能够使得AI数据处理算法更好的应用到高精定位中,确保两者对于环境认知的一致性。我们后续需要更多的关注高精度传感数据大融合这个重要的方向,在芯片算力、接口设计、带宽设计及功能安全设计上多下功夫。
以上是智能驾驶发展的关键技术要素概述的详细内容。更多信息请关注PHP中文网其他相关文章!

热AI工具

Undresser.AI Undress
人工智能驱动的应用程序,用于创建逼真的裸体照片

AI Clothes Remover
用于从照片中去除衣服的在线人工智能工具。

Undress AI Tool
免费脱衣服图片

Clothoff.io
AI脱衣机

Video Face Swap
使用我们完全免费的人工智能换脸工具轻松在任何视频中换脸!

热门文章

热工具

记事本++7.3.1
好用且免费的代码编辑器

SublimeText3汉化版
中文版,非常好用

禅工作室 13.0.1
功能强大的PHP集成开发环境

Dreamweaver CS6
视觉化网页开发工具

SublimeText3 Mac版
神级代码编辑软件(SublimeText3)

写在前面&笔者的个人理解三维Gaussiansplatting(3DGS)是近年来在显式辐射场和计算机图形学领域出现的一种变革性技术。这种创新方法的特点是使用了数百万个3D高斯,这与神经辐射场(NeRF)方法有很大的不同,后者主要使用隐式的基于坐标的模型将空间坐标映射到像素值。3DGS凭借其明确的场景表示和可微分的渲染算法,不仅保证了实时渲染能力,而且引入了前所未有的控制和场景编辑水平。这将3DGS定位为下一代3D重建和表示的潜在游戏规则改变者。为此我们首次系统地概述了3DGS领域的最新发展和关

昨天面试被问到了是否做过长尾相关的问题,所以就想着简单总结一下。自动驾驶长尾问题是指自动驾驶汽车中的边缘情况,即发生概率较低的可能场景。感知的长尾问题是当前限制单车智能自动驾驶车辆运行设计域的主要原因之一。自动驾驶的底层架构和大部分技术问题已经被解决,剩下的5%的长尾问题,逐渐成了制约自动驾驶发展的关键。这些问题包括各种零碎的场景、极端的情况和无法预测的人类行为。自动驾驶中的边缘场景"长尾"是指自动驾驶汽车(AV)中的边缘情况,边缘情况是发生概率较低的可能场景。这些罕见的事件

0.写在前面&&个人理解自动驾驶系统依赖于先进的感知、决策和控制技术,通过使用各种传感器(如相机、激光雷达、雷达等)来感知周围环境,并利用算法和模型进行实时分析和决策。这使得车辆能够识别道路标志、检测和跟踪其他车辆、预测行人行为等,从而安全地操作和适应复杂的交通环境.这项技术目前引起了广泛的关注,并认为是未来交通领域的重要发展领域之一。但是,让自动驾驶变得困难的是弄清楚如何让汽车了解周围发生的事情。这需要自动驾驶系统中的三维物体检测算法可以准确地感知和描述周围环境中的物体,包括它们的位置、

一先导与重点文章主要介绍自动驾驶技术中几种常用的坐标系统,以及他们之间如何完成关联和转换,最终构建出统一的环境模型。这里重点理解自车到相机刚体转换(外参),相机到图像转换(内参),图像到像素有单位转换。3d向2d转换会有相应的畸变,平移等。重点:自车坐标系相机机体坐标系需要被重写的是:平面坐标系像素坐标系难点:要考虑图像畸变,去畸变和加畸变都是在像平面上去补偿二简介视觉系统一共有四个坐标系:像素平面坐标系(u,v)、图像坐标系(x,y)、相机坐标系()和世界坐标系()。每种坐标系之间均存在联系,

原标题:SIMPL:ASimpleandEfficientMulti-agentMotionPredictionBaselineforAutonomousDriving论文链接:https://arxiv.org/pdf/2402.02519.pdf代码链接:https://github.com/HKUST-Aerial-Robotics/SIMPL作者单位:香港科技大学大疆论文思路:本文提出了一种用于自动驾驶车辆的简单高效的运动预测基线(SIMPL)。与传统的以代理为中心(agent-cent

轨迹预测在自动驾驶中承担着重要的角色,自动驾驶轨迹预测是指通过分析车辆行驶过程中的各种数据,预测车辆未来的行驶轨迹。作为自动驾驶的核心模块,轨迹预测的质量对于下游的规划控制至关重要。轨迹预测任务技术栈丰富,需要熟悉自动驾驶动/静态感知、高精地图、车道线、神经网络架构(CNN&GNN&Transformer)技能等,入门难度很大!很多粉丝期望能够尽快上手轨迹预测,少踩坑,今天就为大家盘点下轨迹预测常见的一些问题和入门学习方法!入门相关知识1.预习的论文有没有切入顺序?A:先看survey,p

最近一个月由于众所周知的一些原因,非常密集地和行业内的各种老师同学进行了交流。交流中必不可免的一个话题自然是端到端与火爆的特斯拉FSDV12。想借此机会,整理一下在当下这个时刻的一些想法和观点,供大家参考和讨论。如何定义端到端的自动驾驶系统,应该期望端到端解决什么问题?按照最传统的定义,端到端的系统指的是一套系统,输入传感器的原始信息,直接输出任务关心的变量。例如,在图像识别中,CNN相对于传统的特征提取器+分类器的方法就可以称之为端到端。在自动驾驶任务中,输入各种传感器的数据(相机/LiDAR

目标检测在自动驾驶系统当中是一个比较成熟的问题,其中行人检测是最早得以部署算法之一。在多数论文当中已经进行了非常全面的研究。然而,利用鱼眼相机进行环视的距离感知相对来说研究较少。由于径向畸变大,标准的边界框表示在鱼眼相机当中很难实施。为了缓解上述描述,我们探索了扩展边界框、椭圆、通用多边形设计为极坐标/角度表示,并定义一个实例分割mIOU度量来分析这些表示。所提出的具有多边形形状的模型fisheyeDetNet优于其他模型,并同时在用于自动驾驶的Valeo鱼眼相机数据集上实现了49.5%的mAP
