书名:智能驾驶之激光雷达算法详解
ISBN:978-7-115-62366-9
本书由人民邮电出版社发行数字版。版权所有,侵权必究。
您购买的人民邮电出版社电子书仅供您个人使用,未经授权,不得以任何方式复制和传播本书内容。
我们愿意相信读者具有这样的良知和觉悟,与我们共同保护知识产权。
如果购买者有侵权行为,我们可能对该用户实施包括但不限于关闭该帐号等维权措施,并可能追究法律责任。
著 揭皓翔
责任编辑 张 涛
人民邮电出版社出版发行 北京市丰台区成寿寺路11号
邮编 100164 电子邮件 315@ptpress.com.cn
网址 http://www.ptpress.com.cn
读者服务热线:(010)81055410
反盗版热线:(010)81055315
本书内容涵盖了智能驾驶场景中常用的激光雷达的标定、感知和定位算法。标定算法部分介绍了有代表性的激光雷达与车体的外参标定算法以及激光雷达和相机间的外参标定算法;感知算法部分介绍了基于激光雷达进行地面检测、障碍物聚类、目标检测、多目标跟踪、路沿检测的代表性算法;定位算法部分则介绍了几种有影响力的激光里程计、激光雷达+IMU(intertial measurement unit,惯性测量单元)组合定位算法以及多传感器融合定位与建图算法。本书着重从理论出发,介绍激光雷达关键算法的原理,可为读者提供车载激光雷达相关算法的基础指导。
本书可作为高等院校车辆工程、机器人工程、交通工程专业和自动驾驶专业的教材,也可供智能驾驶或机器人领域的技术爱好者以及激光雷达标定、感知、定位算法工程师使用和参考。
智能驾驶是辅助驾驶和自动驾驶的统称,通常指汽车通过搭载先进的传感器、控制器等设备,结合人工智能算法以辅助驾驶员对车辆的操控甚至实现无人驾驶。随着近年来智能驾驶热潮的兴起,大批的整车厂、零部件供应商、互联网科技公司、高校、科研院所等均积极开展了智能驾驶技术的研究,大力推动智能驾驶技术的商业化落地。
目前,智能驾驶的感知技术路线则主要分为以相机和激光雷达为主导的多传感器融合方案两个方向。以相机为主的感知方案虽具有成本优势,但其在感知精度、稳定性、场景适应性方面都有局限性,且对非标准静态物体识别困难。得益于成像原理的优势,激光雷达能够精确地提供环境、目标的深度信息,且对外界光照变化不敏感。因此,业界普遍认为激光雷达主导的感知方案具有实现更高级别智能驾驶的潜力。然而,硬件成本一直是制约以激光雷达为主导的多传感器融合方案商业落地的重要因素。
但就目前而言,我们可以看到激光雷达的硬件成本正在快速下降。在这种背景下,一些车企明显加速了激光雷达应用的进度。例如,在2021年,市场上仅有少数车型的旗舰款搭载了高线束激光雷达,而在2023年,市场上已有几十余款车型宣布搭载了高线束激光雷达。
由此,汽车行业对激光雷达算法工程师的需求量也逐步增大。但是相比图像算法而言,国内关于激光雷达算法的研究起步较晚,该领域的从业人员相对较少。此外,由于目前市面上并没有系统介绍车载激光雷达相关应用的图书,使得许多工程人员转入激光领域的研究和工作时上手困难。因此,我结合工作中的经验编著了本书。在本书中,我系统地收集和整理了部分优秀的算法并对这些算法进行原理分析,希望能够帮助读者快速地了解激光雷达的基础知识和算法。
本书是系统性介绍车载激光雷达关键算法的技术书。全书分14章,涉及激光雷达和智能驾驶的基础知识,以及激光雷达在智能驾驶中的标定、感知和定位方法,基本涵盖了当前车载激光雷达的应用场景。
首先,在基础知识部分(第1章),介绍了激光雷达的基本硬件原理、发展历程,以及其特点、功能和商业化应用现状;然后,分别针对标定、感知、定位三个方向的基础知识,介绍了坐标系欧氏变换基础和李群、李代数基础(第2章)以及深度学习基础(第7章)。
在标定算法部分(第3章和第4章),介绍了有代表性的激光雷达与车体的外参标定算法以及激光雷达和相机间的外参标定算法,涵盖了基于标定物、无标定物、离线标定和在线标定等多种标定模式。
在感知算法部分(第5章和第6章、第8~10章),介绍了基于激光雷达进行地面检测、障碍物聚类、目标检测、多目标跟踪、路沿检测的代表性算法。
在定位算法部分(第11~13章),介绍了几种有影响力的激光里程计、激光雷达+IMU组合定位算法以及多传感器融合定位与建图算法。第14章对车载激光雷达的未来发展进行了介绍。
本书在进行算法介绍时,首先从问题定义、研究背景和主流研究方向等角度出发,帮助读者快速勾勒出该领域的研究现状;然后,针对每个方向精选有代表性的算法进行详细剖析。在本书中,我以图文并茂的方式对关键算法进行阐述,全书包含200余幅图,400余个公式,希望能够结合直观形象的图和严谨详细的理论推导使读者加深对书中算法的理解。
本书可作为高等院校车辆工程、机器人工程、交通工程专业和自动驾驶专业的教材,也可供智能驾驶或机器人领域的技术爱好者以及激光雷达标定、感知、定位算法工程师使用和参考。
书中所介绍的关键算法大多有开源代码,其对应的GitHub链接在文中已经分别给出,感兴趣的读者可自行下载。
衷心感谢周一博、江世宏、李耀光、罗建国、魏翔宇等对本书提出的宝贵意见和建议!衷心感谢东软睿驰汽车技术(上海)有限公司的刘威教授、胡骏博士、刘力锋博士等对我研究工作的帮助!衷心感谢高健、宁作涛、左心怡、张文胜、张越等为本书写作提供的部分素材!感谢深兰科技(上海)有限公司陈海波董事长和总经理李泽涵博士、华中科技大学吴义忠教授、清华大学黄晋副教授、杭州电子科技大学陈慧勤副教授和陈昌副教授、华为智能车BU凌永伟对本书的支持!感谢我的父母、夫人和女儿,他们的鼓励给了我完成本书的动力和信心!感谢为本书付出辛勤劳动的每一位编辑,他们认真、细致的工作让本书质量有了进一步提升!
由于本书涉及的知识点较多,加之编写时间有限,书中难免有不妥之处,敬请读者指正。由于一些算法的原理比较复杂,为了保持部分算法的“原汁原味”,书中参考了对应的算法原文给出的详细的推理过程,并在相应位置注明了来源和出处。另外,书中涉及较多的图表与数据,一些图表和数据是作者复现、改进后得出的,还有一些图表和数据则是引用了算法原文,并同样在书中注明了来源和出处。读者如有疑问或版权问题请随时通过电子邮件与我联系,我的联系邮箱为lidarbook@126.com。我在此对所有这些算法的作者表示感谢!
本书编辑联系邮箱:zhangtao@ptpress.com.cn。
揭皓翔
于汽车创新港
激光雷达(LiDAR)是光探测和测距(Light Detection and Ranging)的简称,早期也被称为光雷达。这里我们以常见的车载机械式激光雷达为例,简述激光雷达的工作原理。如图1-1所示,激光雷达以激光作为信号源,由激光器发射出脉冲激光,打到地面、树木、车辆、道路、桥梁和建筑物等被测物体表面上;随后激光会发生散射,一部分光波会被反射到激光雷达的接收器上;再根据激光测距原理,即可得到从激光雷达到目标点的距离信息;进而通过激光器不断地水平旋转,便可以得到车辆周围目标物上全部激光点的数据,在用此数据进行成像处理后,便可得到周围环境精确的三维立体点云[1]。
图1-1 激光雷达工作原理示意图
图1-2展示了我们使用速腾128线激光雷达RS-Ruby在郊区场景采集的一帧激光点云。这里我们所说的128线表示该激光雷达能够发射128条激光线束。图1-2中的每个激光点都包含(x,y,z,intensity)四维度信息,分别表示该激光点在激光雷达坐标系下x、y、z三个坐标轴方向的坐标值以及反射强度值。
图1-2 激光点云效果展示
自1960年第一台激光器诞生后,美国麻省理工学院林肯实验室在其基础上于1964年研制出第一台激光雷达。由于激光雷达具有测量精度高、方向性好、不易受外界光照条件影响和地面杂波干扰等特性,其随即被应用于军事领域。随着20世纪80—90年代科研测绘和气象预测等行业的快速发展,业界学者尝试引入激光雷达技术,由此激光雷达走入商用领域。随后,激光测距仪开始进入工业测量以及机器人行业。2000年以后,随着学者们对无人驾驶技术的探索,激光雷达的应用得到进一步拓展。美国国防部高级研究计划局分别在2004年、2005年和2007年举办的无人车挑战赛更是极大地推动了激光雷达在无人车感知方案中的应用。其中,在2007年完成比赛的6支队伍中,有5支队伍使用了Velodyne的多线束激光雷达[2]。至此,激光雷达开始走进人们的视野。随着近年来中国、美国和欧洲大力推动智能驾驶技术的发展和应用,激光雷达行业也随之进入高速发展期。到目前为止,激光雷达已经在智能驾驶、车联网、无人机、工业机器人、消费类电子产品、探测导航、气象测绘等诸多商业领域有不同程度的应用。
当前,车载激光雷达相关技术仍处在高速发展阶段,激光雷达厂家对其各模块都有不同的设计方案。我们根据不同模块所采用技术方案的不同,对车载激光雷达大致进行了分类,如表1-1所示。
表1-1 车载激光雷达的分类
组成部分 |
分类 |
描述 |
---|---|---|
光源 |
880nm/905nm |
近红外激光 |
1350nm |
中、远红外激光 |
|
1550nm |
||
发射端 |
EEL |
边缘发射激光器(Edge Emitting Laser)的英文简称,是一种激光发射方向平行于晶圆表面的半导体激光器 |
VCSEL |
垂直腔面发射激光器(Vertical Cavity Surface Emitting Laser)的英文简称,是一种激光发射方向垂直于晶圆表面的半导体激光器 |
|
光纤激光器 |
以掺入光纤元素玻璃作为增益介质的激光器 |
|
接收端 |
PIN |
光电二极管,在P区与N区之间生成I型层,吸收光辐射而产生光电流的一种光检测器 |
APD |
雪崩光电二极管(Avalanche Photo Diode)的英文简称,工作在线性增益范围 |
|
SPAD |
单光子雪崩二极管(Single Photon Avalanche Diode)的英文简称,工作在盖革模式,具有单光子探测能力 |
|
SiPM |
硅光电倍增管(Silicon Photo-Multiplier)的英文简称,是继承了成百上千个单光子雪崩二极管的光电探测器件 |
|
扫描系统 |
机械式 |
通过让激光雷达整体旋转来达到扫描视场的效果 |
MEMS振镜 |
通过控制MEMS(Microelectromechanical System)振镜振动来达到扫描视场的效果 |
|
透射棱镜 |
又称双楔形棱镜激光雷达,激光在通过第一个楔形棱镜后发生一次偏转,在通过第二个楔形棱镜后再一次发生偏转,进而实现视场角和线数的提升 |
|
转镜(混合固态) |
通过让折射镜转动来达到扫描视场的效果 |
|
Flash |
通过发射面光使得激光布满视场 |
|
OPA |
光学相控阵(Optical Phased Araay)的英文简称,一种通过对阵列移相器中每个移相器的相位进行调节,利用干涉原理实现激光按照特定方向发射的技术进行 |
(注:该表参考了禾赛科技的招股说明书)
其中,机械扫描式激光雷达技术成熟,有多种线数(4线、16线、32线、32线、128线等)的产品可供选择,且通常能够实现水平360°的视场角。但其由于成本较高、供货周期较长、体积较大、运动部件较多以及难以符合车规要求等,尚无法满足量产车辆的内嵌安装需求。因此,它目前多作为Robotaxi的激光雷达解决方案或被用于数据采集车辆中。MEMS振镜式、透射棱镜式和转镜式激光雷达为目前影响力较大的半固态车载激光雷达,并逐步被多个汽车厂商配备到其量产车型中。Flash和OPA式激光雷达均为纯固态激光雷达,由于完全去除了机械运动部件,业界认为这种解决方案是未来车载激光雷达的技术趋势。但是由于现阶段的探测范围、技术成熟度和成本等,这类激光雷达在车载领域目前应用相对较少。
目前,智能驾驶车辆中经常用到的感知传感器有激光雷达、相机、毫米波雷达、超声波雷达等。表1-2对比了它们的优缺点。
表1-2 4种主流车载感知传感器的特点对比
车载感知传感器 |
优势 |
劣势 |
成本 |
技术成熟度 |
可探测范围 |
---|---|---|---|---|---|
激光雷达 |
能够精确提供环境、目标的深度信息;可用于绘制高精3D地图;对外界光照变化不敏感 |
激光点云质量易受雾霾、雨雪天气影响;设备成本高 |
高 |
低 |
中、远 |
相机 |
角分辨率高,能提供丰富的色彩、纹理信息 |
受外界光照等环境影响较大;较难准确地提供深度信息 |
较低 |
高 |
远 |
毫米波雷达 |
受环境影响相对较小,对沙尘和烟雾具有很强的穿透能力;可同时测速测距 |
频段易受干扰;角分辨率较低,点云较少;对静止物体、行人探测效果不佳 |
中 |
中 |
远 |
超声波雷达 |
技术成熟,成本低 |
易受温度等外部环境影响;分辨率较低,无法准确描述目标轮廓 |
低 |
高 |
近 |
由表1-2可以看出,激光雷达作为一种主动三维测量传感器,具有不受光照变化影响以及能够准确测量目标距离和深度的优势。但是,激光点云具有稀疏性,并缺少色彩、纹理信息,且目前的激光点云通常无法提供目标的速度信息。此外,激光线束在雾霾、雨雪天气中衰减较快,点云质量此时会明显下降。因此,为适应智能驾驶中复杂的工况,通常需要各传感器协同工作。
进一步地,对于激光雷达而言,不同的技术方案也使其具有不同的特性。我们在表1-3中统计了三种常见半固态扫描激光雷达和机械式扫描激光雷达的特点。
表1-3 多种扫描方式的特点对比
机械旋转式 |
转镜式 |
二维振镜(MEMS) |
透射棱镜 |
|
---|---|---|---|---|
点云示例 |
||||
扫描方式 |
只对光束做水平方向偏转 |
只对光束做水平方向偏转 |
对光束做水平、垂直两方向偏转 |
对光束做水平、垂直两方向偏转 |
系统集成度 |
低 |
高 |
中 |
中 |
系统复杂度 |
高 |
低 |
中 |
中 |
运动部件 |
低速旋转电动机(<2000r/min) |
低速旋转电动机(<2000r/min) |
高频振动MEMS振镜 |
高速旋转电动机 (>5000r/min) |
可靠性 |
高 |
高 |
中 |
中 |
成本 |
高 |
中 |
中 |
低 |
(注:该表参考了禾赛科技在第三届激光雷达前瞻技术展示交流会上的报告)
其中,速腾M1、禾赛AT128以及揽沃浩界HAP分别为MEMS振镜、转镜式扫描和透射棱镜方案中具有代表性的车载激光雷达,并均已符合车规要求。图1-3~图1-5分别展示了其激光雷达样机和对应点云的效果,表1-4~表1-6分别给出了其部分参数性能,相关图片和数据均来自对应型号的官方网站。
图1-3 速腾M1激光雷达及其点云效果
表1-4 速腾M1激光雷达基本参数
参数 |
说明 |
---|---|
激光波长/nm |
905 |
等效线数/线 |
125 |
水平视场角/(°) |
120(-60~+60) |
点频/(pts·s-1) |
约7.5×105(单回波) 约1.5×106(双回波) |
功能安全等级 |
ASIL-B |
测距能力 |
150m@10%NIST |
帧率/Hz |
10 |
垂直视场角/(°) |
25(-12.5~+12.5) |
以太网输出速率/(Mbit·s-1) |
1000(Base T1) |
平均角分辨率/(°) |
0.2(H)×0.2(V) |
图1-4 禾赛AT128激光雷达及其点云效果
表1-5 禾赛AT128激光雷达基本参数
参数 |
说明 |
---|---|
激光波长/nm |
1550 |
等效线数/线 |
128 |
水平视场角/(°) |
120 |
点频/(pts·s-1) |
1.53×106 |
功能安全等级 |
ASIL-B |
测距能力 |
200m@10%NIST |
帧率/Hz |
10 |
垂直视场角/(°) |
25.4 |
以太网输出速率/(Mbit·s-1) |
1000(Base T1) |
平均角分辨率/(°) |
0.1(H)×0.2(V) |
图1-5 揽沃浩界HAP激光雷达及其点云效果
表1-6 揽沃浩界HAP激光雷达基本参数
参数 |
说明 |
---|---|
激光波长/nm |
905 |
等效线数/线 |
144 |
水平视场角/(°) |
120 |
点频/(pts·s-1) |
4.5×105 |
功能安全等级 |
ASIL-B |
测距能力 |
150m@10%NIST |
帧率/Hz |
20 |
垂直视场角/(°) |
25 |
以太网输出速率/(Mbit·s-1) |
100(Base T1/TX) |
平均角分辨率/(°) |
0.16(H)×0.2(V) |
由以上三种代表性激光雷达的点云效果和基本参数可以看出,目前主流的几款半固态(混合固态)激光雷达均达到了120线束以上,且具有120°的水平视场角和25°左右的垂直视场角,能够有效探测道路参与者的尺寸、位置等信息。各激光雷达有效探测距离为150~200 m,基本能够满足目前大部分智能驾驶场景的使用需求。
此外,从上述点云效果中我们可以进一步看出:
(1)使用一维转镜式方案的激光雷达,其点云效果最接近传统机械式激光雷达。
(2)基于MEMS振镜方案的激光雷达,由于单个MEMS振镜的视场角较小,通常会由多个MEMS振镜组合拼凑出较大的视场角,因此最终输出的点云中会有多个拼接缝存在。
(3)基于透射棱镜方案的激光雷达,通常也需要用多个MEMS模块拼接出较大的视场角,且其激光扫描方式比较特殊,目前常见的有“花瓣形”和“类椭圆”两种非重复扫描方式,具体如图1-6所示。
(a)“花瓣形”
(b)“类椭圆”
图1-6 常见的两种激光雷达非重复扫描方式
(注:图片来源于揽沃科技的官方网站)
如前所述,当下激光雷达仍处在高速发展阶段。就目前而言,业界整体已呈现出百家争鸣的局面,各厂商选取的不同技术方案均有各自的优势和特点,而未来哪种激光雷达会胜出,将留给时间和市场进行检验。
根据智能驾驶系统中各算法功能的不同,我们可大致将智能驾驶系统分为感知、即时定位和建图(Simultaneous Localization and Mapping,SLAM)、预测、决策、规划、控制等多个子系统。由于激光雷达能够对周围环境和物体实现高精度的三维探测,并能够结合反射强度信息体现目标材质的差异,业界的许多学者和专家主要将其应用到智能车的感知系统和定位系统中。
在感知系统中,激光雷达通常可用于图1-7中的各功能模块,实现对道路、障碍物、目标和可行驶区域的识别、判断。
图1-7 激光感知系统流程示例
由于车辆是行驶在道路上的,这就需要我们从点云中识别出地面点云和非地面点云,其中地面点云用于后续可行驶区域的确定,而非地面点云则用于进行障碍物聚类、分割。图1-8示例性地展示了我们在某园区场景进行地面点云分割和障碍物聚类划分的效果。
图1-8 地面检测和聚类分割效果展示
得益于当今深度学习技术的发展,我们可使用深度神经网络提取3D激光点云中的结构、轮廓、强度等特征信息,进行端到端的目标检测,得到目标的位置、尺寸、朝向等信息。图1-9示例性地给出了我们在KITTI数据集和Waymo数据集中进行3D目标检测的效果。
图1-9 基于3D激光点云的目标检测示例
需要指出的是,在工程应用中,3D目标检测模块通常用于对特定的几个常见类别的目标进行识别,如车辆、行人、骑行者等,而石墩、锥桶等小障碍物则可通过聚类功能实现。这一方面是为了降低工程标注成本,另一方面是为了降低系统对深度神经网络的检测难度要求。此外,聚类功能和3D目标检测功能的结合可以进一步提升感知算法的鲁棒性,降低智能车在行驶中遇到奇异物体(如侧翻的车辆、其他车辆掉落的货物等)时,单一目标检测模块发生漏检对后续功能的影响。
考虑在驾驶场景中,目标车辆可能被周围物体遮挡,以及激光点云中有噪声存在,单独基于一帧点云进行目标检测往往难以获取目标的准确信息。因此,我们需要结合多帧的目标检测信息,得到目标信息的最优估计。此外,系统希望能够对检测到的行人、汽车等多个目标赋予不同的ID以进行目标管理,并进行目标的速度估计,用于后续轨迹预测等功能。上述过程便是由多目标跟踪模块完成的。图1-10展示了在高速场景下基于某3帧连续点云进行目标跟踪后输出的ID分配结果。
在驾驶过程中,感知系统通常还需要获取道路边界和车道线信息,这就需要对应的路沿检测和车道线检测模块。而早期业界使用激光雷达进行路沿检测和车道线检测的公开研究相对较少,这主要是由于之前智能驾驶公开数据集中使用的激光雷达线数较少,其点云数据比较稀疏,故往往无法有效探测到中、远处的车道线和路沿。然而,随着近两年激光雷达硬件技术的不断提升,120线束以上激光雷达的不断普及,目前车载激光雷达能够探测到较远处的路沿和车道线。再加上激光点云能够提供较准确的车道线(路沿)的3D位置,以及激光雷达在夜间场景中的优势,越来越多的学者开始投身到基于激光点云进行路沿检测和车道线检测的研究中。图1-11和图1-12分别展示了基于3D激光点云进行路沿检测和车道线检测的效果。
图1-10 基于某连续3帧点云进行多目标跟踪的示例
图1-11 基于3D激光点云的路沿检测效果图
在获取了道路边界、车道线、障碍物和目标等信息后,即可计算出车辆的可行驶区域,供后续规控功能使用。图1-13示意性地给出了使用速腾真值系统RS-Reference输出的可行驶区域。
此外,一些学者尝试在激光点云中使用基于语义分割[4]、实例分割[5] 或全景分割[6]的技术路线来实现激光感知各模块的功能,系统流程大致如图1-14所示。通过语义分割模型,我们可以将原始3D激光点云分为前景点云和背景点云,如图1-15所示。一方面,前景点云通常包含与我们所关注目标(如车辆、行人、骑行者)对应的激光点云,并可基于聚类算法或实例/全景分割模型对前景点云进一步划分,进而结合L-Shape Fitting算法[7]得到每个目标的尺寸、朝向。随后,我们便可进行各目标的跟踪,实现目标管理、速度估计等功能。另一方面,在背景点云中,我们可以进行车道线、路沿和可行驶区域的分割计算。目前,智能驾驶领域应用比较广泛的分割网络数据集为SemanticKITTI,但是由于语义分割网络通常需要逐点地标注信息,因此在工业应用中,基于纯语义分割方案的感知系统的商用推广难度相对较大。
图1-12 基于3D激光点云的车道线检测效果图
(注:图片来源于本章参考文献[3])
图1-13 可行驶区域检测示例
图1-14 以点云语义/实例分割为主的感知方案流程示意图
图1-15 激光点云语义分割效果示例
(注:图片来源于本章参考文献[4])
在记忆泊车(Home-Zone Parking Pilot,HPP)、自动辅助导航驾驶(Navigate on Autopilot,NOA)等L2+或更高级别的智能驾驶功能中,除了需要对目标、道路环境等进行感知、检测之外,还需要系统能够实时确定车辆的行驶位置,以辅助系统寻找车位,以及判断自车何时需要变道、下闸道等。如何实现对智能车全天候、高精度、实时的定位呢?我们知道,现有的全球定位系统(Global Positioning System,GPS)是一种以人造地球卫星为基础的高精度无线电导航的定位系统,具有全能性(适用于陆地、海洋、航天、航空场景)、全球性、全天候性和实时性,能够为各类静止或高速运动的物体迅速提供精确的瞬间三维空间坐标、速度矢量和精确授时服务[8],其定位原理如图1-16所示。
图1-16 GPS定位原理示意图
在实际工程中,车载GPS的引入虽然能够在一般情况下提供智能驾驶车辆的位置数据,但是考虑成本,其定位精度通常为米级,信号频率多为1Hz。此外,在高架桥、地下停车场、城区等场景中,车载导航系统的GPS定位信号往往会受到树木、建筑、隧道等的影响或遮挡,导致GPS位置信息精度降低或信号完全缺失,该过程如图1-17所示。
因此,为了弥补GPS的上述缺点,从而实现对车辆分米级,甚至厘米级的实时定位,业界的许多研发团队使用了高精地图和高精定位组合的方式。图1-18给出了常见的车辆定位系统架构。其中,通过将智能车行驶中获取的实时激光雷达点云和图像与事先建立的高精地图进行帧-图的匹配,可得到车辆的绝对位置估计,而后将其和GPS信号结合,这样在一定程度上可以降低GPS信号丢失对绝对位置计算的影响。同时,基于连续帧的激光点云、图像,可实现对应的里程计功能,并与惯性测量单元(Interial Measurement Unit,IMU)数据、轮速计数据结合,实现对车辆的相对定位。最后,通过融合上述各定位信息,实现对车辆的高精定位。
图1-17 GPS信号受外界环境影响示意图
图1-18 车辆定位系统架构示意图
一方面,在建图阶段,由于激光雷达的探测精度较高且不受光照变化的影响,其对高精地图的构建起着至关重要的作用。我们可以使用配备了高精度实时动态测量(Real Time Kinematic,RTK)设备、高性能IMU、激光雷达、相机等多种传感器的数据采集车对道路进行数据采集。而后,经过离线处理,在点云地图中进一步融入图像语义信息,标明交通标志、车道线、信号灯、道路曲率等多种背景信息和数据,得到最终的高精定位地图,如图1-19所示。
另一方面,在定位阶段,如前所述,我们可以基于激光雷达实时获取的点云,实现激光里程计和地图匹配两种定位功能。其中,激光里程计是通过相邻帧点云间的匹配,根据对应多个路标或特征点的位置变化,推算出车辆运动增量,实现车辆的局部定位,该过程如图1-20所示。
而激光点云-地图匹配则是对实时获取的激光点云和预先构建好的高精定位地图进行匹配,计算出车辆在场景中的绝对位置,该过程如图1-21所示。
图1-19 高精定位地图示例
图1-20 激光里程计示例
图1-21 实时点云和点云地图匹配示例
Robotaxi和无人驾驶卡车由于对传感器成本相对不太敏感,因此普遍配备了激光雷达。图1-22和图1-23分别展示了享道出行的Robotaxi运营车辆和TuSimple的无人驾驶干线物流车辆。
图1-22 享道出行的Robotaxi运营车辆
(注:图片来源于享道出行官网)
图1-23 TuSimple的无人驾驶干线物流车辆
(注:图片来源于TuSimple官网)
然而,对于整车厂而言,量产高阶辅助驾驶车辆的感知技术路线则主要分为以视觉为主导和以激光雷达为主导(即激光雷达、相机、毫米波等多传感融合)两个方向。以视觉为主导的感知方案具有成本优势,而以激光雷达为主导的感知方案具有实现更高级别智能驾驶的潜力。
特斯拉是使用以视觉为主导的感知方案的代表性企业,其基于海量的路采数据,结合强大的芯片算力,采用“摄像头+毫米波雷达”的感知方案,较好地解决了多数场景的环境感知问题。而北美版2021款Model 3和Model Y进一步去除了毫米波雷达传感器,仅使用纯视觉感知方案。图1-24为特斯拉官网给出的AutoPilot HW2.0系统感知传感器配置示意图,该系统配备了8个相机、1个前向毫米波雷达及12个超声波雷达。
图1-24 特斯拉车载感知传感器配置示意图
(注:图片参考特斯拉官网资料绘制而成)
但是,由于以视觉为主导的感知方案在感知精度、稳定性、场景适应性方面都有局限性,对非标准静态物体识别困难,且系统对视觉算法要求较高,因此除了特斯拉以外,其余大部分智能驾驶公司和汽车厂商逐步转向以激光雷达为主导的多传感融合方案。近年来,随着激光雷达的成本不断降低,其价格已经由早期几十万元人民币降至目前几万元甚至几千元人民币,并且一些激光雷达供应商表示,未来几年激光雷达的价格将进一步下探至千元人民币左右。在这种趋势下,一些整车厂明显加速了激光雷达前装量产的进度。例如,如图1-25所示,蔚来汽车在2021年发布的ET7搭载了超感系统,并配备了1个图达通激光雷达、7个800万像素摄像头、4个300万像素环视摄像头、5个毫米波雷达和12个超声波雷达;威马汽车在2021年发布的M7配备了3个速腾M1激光雷达、5个毫米波雷达、12个超声波雷达、7个800万像素超高清摄像头和4个环视摄像头;小鹏P5的XPilot 3.5系统则搭载了2个Livox激光雷达、12个超声波传感器、9个高清摄像头、4个环视单目摄像头和5个毫米波雷达;理想汽车在2022年发布的L9也搭载了1个禾赛AT128激光雷达、6个800万像素的ADS摄像头、4个环视鱼眼摄像头、1个毫米波雷达和12个超声波雷达。此外,北汽极狐阿尔法S、非凡R7、摩卡WEY、广汽AION LX Plus和沙龙机甲龙等多个车型也都宣布搭载了高性能激光雷达。
(a)蔚来ET7
(b)威马M7
(c)小鹏P5
(d)理想L9
图1-25 多款搭载了激光雷达的量产车型
(注:图片来自对应车型的官方网站)
在上述商业化背景下,汽车行业对激光雷达算法工程师的人才需求也逐步增大。但是相比图像算法而言,国内关于激光雷达算法的研究起步较晚,该领域的从业人员相对较少。此外,由于目前市面上并没有系统介绍车载激光雷达相关应用的图书,使得许多工程人员在转入激光雷达领域的研究和工作时上手困难。因此,笔者结合工作中的经验和总结,系统地收集和整理了部分优秀的算法,并给出相关算法的开源代码地址供大家参考。本书主要分为4部分,涉及激光雷达和智能驾驶的基础知识,以及激光雷达在智能驾驶中的标定、感知和定位方法,基本涵盖了车载激光雷达常见的应用场景,希望能够帮助行业新人快速了解激光雷达的相关基础知识和算法。
在本章,我们首先介绍了激光雷达的基本知识,包括其工作原理、发展历程、主要分类和特点。然后,我们介绍了激光雷达在智能车感知系统和定位系统中的应用功能。最后,我们给出了目前激光雷达的商业化现状。相信通过本章的学习,大家应该对激光雷达有了初步的认识。在后续章节,我们将具体介绍激光雷达相关的标定、感知和定位算法。让我们一起开启学习之旅吧!
[1] 王会,罗涛,陆培源.激光雷达在无人车辆中的应用及关键技术分析[J].激光与红外,2018,48(12): 1458-1467.
[2] 张丽,张毅,涂金龙.激光雷达的关键技术及其在无人驾驶车辆中的应用[J].现代工业经济和信息化,2021,11(12): 156-158.
[3] PAEK D, KONG S H, TIRTA W K. Mixer-based lidar lane detection network and dataset for urban roads[J]. arXiv e-prints, 2021, 50(10): 101-106.
[4] CORTINHAL T, TZELEPIS G, AKSOY E. Salsanext: Fast semantic segmentation of lidar point clouds for autonomous driving[C]. In 2020 IEEE Intelligent Vehicles Symposium (IV), 2020: 655-661.
[5] ZHANG F, GUAN C, FANG J, et al. Instance segmentation of LiDAR point clouds[C]. IEEE International Conference on Robotics and Automation (ICRA), 2020: 9448-9455.
[6] SIROHI K, ROHIT M, DANIEL B, et al. Efficient LPS: Efficient LiDAR panoptic segmentation[J]. IEEE Transactions on Robotics, 2022, 38(1): 1894-1914.
[7] LIU Y, LIU B, ZHANG H. Estimation of 2D bounding box orientation with convex-hull points—A quantitative evaluation on accuracy and efficiency[C]. 2020 IEEE Intelligent Vehicles Symposium (IV), 2020: 945-950.
[8] 黄丁发,熊永良,袁林果.全球定位系统GPS理论与实践 [M]. 成都: 西南交通大学出版社,2006.