一种路侧激光雷达的车辆检测和轨迹预测方法

1.本发明涉及目标检测技术领域，尤其是涉及一种路侧激光雷达的车辆检测和轨迹预测方法。


背景技术：

2.近年来，随着汽车保有量的增加，交通拥堵问题，交通中的安全问题越来越突显，为了提高通行效率，增加安全性，并将驾驶员从疲劳的驾驶工作中解放出来，自动驾驶进入了大众的视野。车路协同是自动驾驶的重要分支之一，而路侧端感知需要通过在路侧端安装的传感器准确感知周围环境和环境内的交通参与者，以分担车端感知的压力，提供信息冗余，是车路协同的核心。
3.自动驾驶环境感知中常用的传感器有rgb相机，激光雷达和毫米波雷达等，rgb相机成本低廉，较易布设于路侧，数据分辨率高，特征丰富等优势，但受光照条件影响较大，夜间几乎无法正常使用；毫米波雷达成本较低，不受光照条件和天气条件影响，但分辨率很低；激光雷达具有不易受光照条件影响，日夜都能工作，精度高，分辨率较高的特点，但易受雨雾雪等恶劣环境的影响。
4.现有的基于激光雷达的路侧端感知技术方案通过在路侧布设激光雷达，对交通参与者进行类别的识别和边界框的检测,如《路侧激光雷达目标检测方法及装置》中首先通过栅格化处理对点云进行背景滤波，然后将经过滤波的点云输入检测模型得到目标的类别信息和边界框结果,其中栅格化的背景滤波方式容易造成漏删和误删的问题，因为点云是三维的数据点而栅格为二维矩形区域，若同一个栅格内同时存在背景点与非背景点，如交通标识牌下方驶过的车辆，这种方法容易造成车辆点云被误删或交通标识牌的漏删,另外，上述方法只能得到类别信息和边界框信息，无法获取目标的运动状态，也没有对目标进行跟踪，也没有对目标进行轨迹预测，而这些都是智能驾驶中非常重要的信息。


技术实现要素：

5.本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种路侧激光雷达的车辆检测和轨迹预测方法。
6.本发明的目的可以通过以下技术方案来实现：
7.一种路侧激光雷达的车辆检测和轨迹预测方法，该方法包括以下步骤：
8.步骤1：建立车辆检测和轨迹预测的多任务深度神经网络模型；
9.步骤2：基于公开数据集对多任务深度神经网络模型进行预训练；
10.步骤3：采用基于体素化处理的背景滤波法对点云进行背景滤波；
11.步骤4：基于自建路侧端数据集进行多任务深度神经网络模型的迁移训练；
12.步骤5：部署多任务深度神经网络模型，进行车辆的检测、跟踪和轨迹预测。
13.所述的步骤1中，多任务深度神经网络模型采用深度神经网络对车辆进行检测和轨迹预测，基于深度神经网络的多任务深度神经网络模型的结构具体为：
14.体素化层：对输入点云序列进行体素化，得到体素化的点云序列；
15.卷积层：对体素化后的点云序列连续使用两次2d卷积和3d卷积，得到将点云序列融合后的特征图；
16.网络主干层：采用网络主干对特征图提取更深层的特征，得到多尺度特征图；
17.输出分支层：包括两个输出分支，分别为目标检测分支和目标轨迹预测分支通过两个分支分别输出目标检测结果和目标预测轨迹。
18.所述的目标检测分支的输出表达式为：
19.(x,y,w,l,yaw,conf)
20.其中，(x,y)为车辆目标在地面坐标系下的坐标值，w为车辆目标的宽度，l为车辆目标的长度，yaw为车辆目标在地面坐标系下的朝向角，conf为车辆目标的置信度。
21.所述的目标轨迹预测分支的输出表达式为：
22.(dxi,dyi,dθi),i＝1
…
30
23.其中，i表示时间段为(i-1)/10秒至i/10秒，dxi和dyi分别为在(i-1)/10秒至i/10秒时间段内目标在地面坐标系的x方向上发生的位移预测量和y方向上发生的位移预测量，dθi为在(i-1)/10秒至i/10秒时间段内目标在地面坐标系下发生的朝向角预测量。
24.所述的目标检测结果包括检测边界框、检测的位置、检测的朝向角和检测的尺寸，所述的目标预测轨迹包括预测边界框、预测的位置、预测的朝向角和预测的尺寸。
25.所述的步骤2中，对多任务深度神经网络模型进行预训练的过程具体包括以下哪些步骤：
26.步骤201：对用以训练的公开数据集中的点云进行预处理，根据公开数据集中的地图信息剔除点云中的地面点和不可行驶区域内的点云；
27.步骤202：公开数据集中两帧点云的时间间隔为0.1秒，每隔0.2秒抽取0.5秒的片段数据，即连续5帧的点云，将片段数据通过公开数据集中的车姿信息统一到最后一帧的坐标系下；
28.步骤203：将经过预处理后且坐标系统一后的点云输入多任务深度神经网络模型进行预训练；
29.步骤204：预训练的训练目标为点云中的车辆的位置、尺寸、朝向角和未来轨迹。
30.所述的公开数据集具体为：
31.具有连续帧车辆标注且每一帧都带有车姿信息的激光雷达数据集，所述的公开数据集包括argoverse数据集。
32.所述的步骤3中，基于体素采用背景滤波法对点云进行背景滤波的过程具体包括以下步骤：
33.步骤301：通过路侧激光雷达采集点云，得到一段无动态物体的点云序列；
34.步骤302：对采集到的点云序列进行体素化，将所有体素中出现过点云的体素标记为背景体素，其余标记为非背景体素，得到体素化后的背景帧；
35.步骤303：对背景帧进行实时背景滤除，判断点云是否落在背景帧中的背景体素上，若是，则为背景点，直接剔除，得到滤除背景点后的点云序列；
36.步骤304：对滤除背景点后的点云序列进行半径滤波，进一步剔除点云序列的噪声点。
37.所述的步骤4中，进行多任务深度神经网络模型的迁移训练的过程具体包括以下步骤：
38.步骤401：通过路侧激光雷达采集路端真实数据；
39.步骤402：对路端真实数据采用步骤3的背景滤波法剔除背景点后再输入多任务深度神经网络模型生成检测结果；
40.步骤403：对生成的检测结果进行人工筛选，得到自建路侧端数据集；
41.步骤404：采用步骤3的背景滤波法对自建路侧端数据集剔除背景点；
42.步骤405：将多任务深度神经网络模型在剔除背景点后的自建路侧数据集上进行迁移训练；
43.步骤406：迁移训练的训练目标为点云中的车辆的位置尺寸和朝向。
44.所述的步骤5中，进行车辆的检测、跟踪和轨迹预测的过程具体包括以下步骤：
45.步骤501：对路侧激光雷达采集到的点云用背景滤波法进行实时背景点云的滤除；
46.步骤502：将当前帧的背景滤波后的点云和过去0.5秒内的另外4帧经过背景滤波的点云一起输入至经过迁移训练后的多任务深度神经网络模型中，得到目标检测结果和轨迹预测结果；
47.步骤503：将上一帧所有目标的预测边界框与当前帧所有目标的检测边界框进行一一匹配，完成对所有目标的跟踪，得到目标检测跟踪结果；
48.步骤504：通过路侧通讯设备对目标检测跟踪结果和轨迹预测结果进行广播。
49.与现有技术相比，本发明具有以下优点：
50.1、本发明提出的体素化背景滤波法能够更加准确地对路侧端激光雷达点云中的背景点进行滤除。
51.2、通过安装在路侧端的激光雷达对汽车进行实时检测，跟踪和轨迹预测，能够得到目标车辆的边界框，速度和未来运动轨迹。
52.3、本发明提出通过模型迁移训练的方法提升检测模型的准确率和轨迹预测的准确率。
附图说明
53.图1为本发明流程示意图。
54.图2为本发明基于公开数据集的预训练结果示意图。
55.图3为路侧激光雷达安装位置示意图。
56.图4为本发明同时实现对车辆的检测、跟踪和轨迹预测的俯视图。
57.图5为车辆跟踪轨迹图。
58.图6为本发明的多任务深度神经网络模型结构示意图。
具体实施方式
59.下面结合附图和具体实施例对本发明进行详细说明。
60.实施例
61.实施例
62.本发明提供了一种路侧激光雷达的车辆检测和轨迹预测方法，该方法包括以下步
骤：
63.步骤1：建立车辆检测和轨迹预测的多任务深度神经网络模型；
64.步骤2：基于公开数据集对多任务深度神经网络模型进行预训练；
65.步骤3：采用基于体素化处理的背景滤波法对点云进行背景滤波；
66.步骤4：基于自建路侧端数据集进行多任务深度神经网络模型的迁移训练；
67.步骤5：部署多任务深度神经网络模型，进行车辆的检测、跟踪和轨迹预测。
68.如图6所示，本发明所使用的多任务深度神经网络模型采用深度神经网络能够对车辆进行检测和轨迹预测，多任务深度神经网络模型的结构具体为：
69.体素化层：对输入点云序列进行体素化，得到体素化的点云序列；
70.卷积层：对体素化后的点云序列连续使用两次2d卷积和3d卷积，得到将点云序列融合后的特征图；
71.网络主干层：采用网络主干对特征图提取更深层的特征，得到多尺度特征图；
72.输出分支层：包括两个输出分支，分别为目标检测分支和目标轨迹预测分支通过两个分支分别输出目标检测结果和目标的预测轨迹。
73.目标检测结果包括检测边界框、检测的位置、检测的朝向角和检测的尺寸，目标的预测轨迹包括未来3秒内每个时刻的预测边界框、预测的位置、预测的朝向角和预测的尺寸。
74.步骤2中，在argoverse数据集上对多任务深度神经网络模型进行模型预训练：
75.步骤201：对用以训练的argoverse数据集中的点云进行预处理，根据argoverse数据集中的地图信息剔除点云中的地面点，再根据argoverse数据集中的地图信息剔除不可行驶区域内的点云；
76.步骤202：argoverse数据集中两帧点云的时间间隔为0.1秒，需要每隔0.2秒抽取0.5秒的片段数据，即连续5帧的点云，将片段数据通过argoverse数据集中的车姿信息统一到最后一帧点云的坐标系下；
77.步骤203：将经过预处理后且坐标系统一后的点云输入多任务深度神经网络模型进行预训练；
78.步骤204：预训练的训练目标为点云中的车辆的位置、尺寸、朝向角和未来轨迹。
79.如图2所示的多任务深度神经网络模型基于公开数据集的预训练结果，该图为预训练结果的俯视图，细点为叠加了5帧的激光雷达点云，框为车辆的检测边界框，粗点为车辆轨迹预测结果。
80.在步骤3中，基于体素的点云背景滤波的过程具体为：
81.步骤301：通过路侧激光雷达采集点云，得到一段无动态物体的点云序列；
82.步骤302：对采集到的点云序列进行体素化，体素边长为0.2米，也可以按实际情况和需求进行调整，将所有体素中出现过点云的体素标记为背景体素，其余标记为非背景体素，得到体素化后的背景帧；
83.步骤303：对背景帧进行实时背景滤除，判断点云是否落在背景帧中的背景体素上，若是，则为背景点，直接剔除，得到滤除背景点后的点云序列；
84.步骤304：对滤除背景点后的点云序列进行半径滤波，进一步剔除点云序列的噪声点。
85.在步骤4中，进行多任务深度神经网络模型的模型迁移训练的过程具体包括以下步骤：
86.步骤401：通过路侧激光雷达采集路端真实数据；
87.步骤402：对路端真实数据采用步骤3的背景滤波法剔除背景点后再输入多任务深度神经网络模型生成检测结果；
88.步骤403：对生成的检测结果进行人工筛选，得到自建路侧端数据集；
89.步骤404：采用步骤3的背景滤波法对自建路侧端数据集剔除背景点；
90.步骤405：将多任务深度神经网络模型在剔除背景点后的自建路侧数据集上进行迁移训练；
91.步骤406：迁移训练的训练目标为点云中的车辆的位置尺寸和朝向。
92.在步骤5中，将步骤4中迁移训练后得到的多任务深度神经网络模型部署在路侧端，对交通流中的车辆进行实时感知：
93.步骤501：对路侧激光雷达采集到的点云用背景滤波法进行实时背景点云的滤除；
94.步骤502：将当前帧的背景滤波后的点云和过去0.5秒内的另外4帧经过背景滤波的点云一起输入至经过迁移训练后的多任务深度神经网络模型中，得到目标检测结果和轨迹预测结果；
95.步骤503：将上一帧所有目标的预测边界框与这一帧所有目标的检测边界框进行一一匹配，完成对所有目标的跟踪，得到目标检测跟踪结果；
96.步骤504：通过路侧通讯设备对目标检测跟踪结果和轨迹预测结果进行广播。
97.通过体素化处理的方式对激光雷达采集到的点云进行实时背景滤波。
98.采用深度学习的方法对检测到的车辆进行边界框的检测以及轨迹预测，边界框中心点、长宽和朝向角分别为目标车辆在地面坐标系x-y平面中的中心点的位置、车辆的长宽和车辆的朝向角，轨迹预测即预测检测到的汽车在未来3秒内运动的轨迹。
99.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的工作人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种路侧激光雷达的车辆检测和轨迹预测方法，其特征在于，该方法包括以下步骤：步骤1：建立车辆检测和轨迹预测的多任务深度神经网络模型；步骤2：基于公开数据集对多任务深度神经网络模型进行预训练；步骤3：采用基于体素化处理的背景滤波法对点云进行背景滤波；步骤4：基于自建路侧端数据集进行多任务深度神经网络模型的迁移训练；步骤5：部署多任务深度神经网络模型，进行车辆的检测、跟踪和轨迹预测。2.根据权利要求1所述的一种路侧激光雷达的车辆检测和轨迹预测方法，其特征在于，所述的步骤1中，多任务深度神经网络模型采用深度神经网络对车辆进行检测和轨迹预测，基于深度神经网络的多任务深度神经网络模型的结构具体为：体素化层：对输入点云序列进行体素化，得到体素化的点云序列；卷积层：对体素化后的点云序列连续使用两次2d卷积和3d卷积，得到将点云序列融合后的特征图；网络主干层：采用网络主干对特征图提取更深层的特征，得到多尺度特征图；输出分支层：包括两个输出分支，分别为目标检测分支和目标轨迹预测分支通过两个分支分别输出目标检测结果和目标预测轨迹。3.根据权利要求2所述的一种路侧激光雷达的车辆检测和轨迹预测方法，其特征在于，所述的目标检测分支的输出表达式为：(x,y,w,l,yaw,conf)其中，(x,y)为车辆目标在地面坐标系下的坐标值，w为车辆目标的宽度，l为车辆目标的长度，yaw为车辆目标在地面坐标系下的朝向角，conf为车辆目标的置信度。4.根据权利要求3所述的一种路侧激光雷达的车辆检测和轨迹预测方法，其特征在于，所述的目标轨迹预测分支的输出表达式为：(dx
i
,dy
i
,dθ
i
),i＝1
…
30其中，i表示时间段为(i-1)/10秒至i/10秒，dx
i
和dy
i
分别为在(i-1)/10秒至i/10秒时间段内目标在地面坐标系的x方向上发生的位移预测量和y方向上发生的位移预测量，dθ
i
为在(i-1)/10秒至i/10秒时间段内目标在地面坐标系下发生的朝向角预测量。5.根据权利要求4所述的一种路侧激光雷达的车辆检测和轨迹预测方法，其特征在于，所述的目标检测结果包括检测边界框、检测的位置、检测的朝向角和检测的尺寸，所述的目标预测轨迹包括预测边界框、预测的位置、预测的朝向角和预测的尺寸。6.根据权利要求1所述的一种路侧激光雷达的车辆检测和轨迹预测方法，其特征在于，所述的步骤2中，对多任务深度神经网络模型进行预训练的过程具体包括以下哪些步骤：步骤201：对用以训练的公开数据集中的点云进行预处理，根据公开数据集中的地图信息剔除点云中的地面点和不可行驶区域内的点云；步骤202：公开数据集中两帧点云的时间间隔为0.1秒，每隔0.2秒抽取0.5秒的片段数据，即连续5帧的点云，将片段数据通过公开数据集中的车姿信息统一到最后一帧的坐标系下；步骤203：将经过预处理后且坐标系统一后的点云输入多任务深度神经网络模型进行预训练；步骤204：预训练的训练目标为点云中的车辆的位置、尺寸、朝向角和未来轨迹。
7.根据权利要求6所述的一种路侧激光雷达的车辆检测和轨迹预测方法，其特征在于，所述的公开数据集具体为：具有连续帧车辆标注且每一帧都带有车姿信息的激光雷达数据集，所述的公开数据集包括argoverse数据集。8.根据权利要求1所述的一种路侧激光雷达的车辆检测和轨迹预测方法，其特征在于，所述的步骤3中，基于体素采用背景滤波法对点云进行背景滤波的过程具体包括以下步骤：步骤301：通过路侧激光雷达采集点云，得到一段无动态物体的点云序列；步骤302：对采集到的点云序列进行体素化，将所有体素中出现过点云的体素标记为背景体素，其余标记为非背景体素，得到体素化后的背景帧；步骤303：对背景帧进行实时背景滤除，判断点云是否落在背景帧中的背景体素上，若是，则为背景点，直接剔除，得到滤除背景点后的点云序列；步骤304：对滤除背景点后的点云序列进行半径滤波，进一步剔除点云序列的噪声点。9.根据权利要求1所述的一种路侧激光雷达的车辆检测和轨迹预测方法，其特征在于，所述的步骤4中，进行多任务深度神经网络模型的迁移训练的过程具体包括以下步骤：步骤401：通过路侧激光雷达采集路端真实数据；步骤402：对路端真实数据采用步骤3的背景滤波法剔除背景点后再输入多任务深度神经网络模型生成检测结果；步骤403：对生成的检测结果进行人工筛选，得到自建路侧端数据集；步骤404：采用步骤3的背景滤波法对自建路侧端数据集剔除背景点；步骤405：将多任务深度神经网络模型在剔除背景点后的自建路侧数据集上进行迁移训练；步骤406：迁移训练的训练目标为点云中的车辆的位置尺寸和朝向。10.根据权利要求5所述的一种路侧激光雷达的车辆检测和轨迹预测方法，其特征在于，所述的步骤5中，进行车辆的检测、跟踪和轨迹预测的过程具体包括以下步骤：步骤501：对路侧激光雷达采集到的点云用背景滤波法进行实时背景点云的滤除；步骤502：将当前帧的背景滤波后的点云和过去0.5秒内的另外4帧经过背景滤波的点云一起输入至经过迁移训练后的多任务深度神经网络模型中，得到目标检测结果和轨迹预测结果；步骤503：将上一帧所有目标的预测边界框与当前帧所有目标的检测边界框进行一一匹配，完成对所有目标的跟踪，得到目标检测跟踪结果；步骤504：通过路侧通讯设备对目标检测跟踪结果和轨迹预测结果进行广播。

技术总结
本发明涉及一种路侧激光雷达的车辆检测和轨迹预测方法，该方法包括：步骤1：建立车辆检测和轨迹预测的多任务深度神经网络模型；步骤2：基于公开数据集对多任务深度神经网络模型进行预训练；步骤3：采用基于体素化处理的背景滤波法对点云进行背景滤波；步骤4：基于自建路侧端数据集进行多任务深度神经网络模型的迁移训练；步骤5：部署多任务深度神经网络模型，进行车辆的检测、跟踪和轨迹预测，与现有技术相比，本发明具有提升检测模型的准确率和轨迹预测的准确率等优点。迹预测的准确率等优点。迹预测的准确率等优点。


技术研发人员：王亚飞 周志松 张智骋 陈炜邦
受保护的技术使用者：上海交通大学
技术研发日：2021.11.29
技术公布日：2022/3/8