一种用于自动驾驶汽车在公共道路的环境信息采集方法

1.本发明涉及一种道路的环境信息采集方法，特别涉及一种用于自动驾驶汽车在公共道路的环境信息采集方法。


背景技术：

2.随着智能辅助驾驶技术的发展，汽车的智能化程度不断提高，测试需求也更加多样。自动驾驶汽车测试方式主要包括模型在环测试、驾驶模拟器测试、硬件在环测试和车辆在环测试等在虚拟环境中进行的虚拟测试，以及在封闭试验场和公共道路进行的实车测试。虚拟测试测试成本较低，可重复性强，但其测试真实度取决于模型的真实度，相较而言真实度低；封闭场地测试虽较为真实，但缺少其他交通参与者的动态变化要素；公共道路测试与实际上路的自动驾驶汽车环境一致，是最真实的测试方法，但其可重复性差，同时公共道路测试的测试环节和评价环节都是实时发生的，对一些容易忽略的评价细节问题难以发现。
3.目前针对智能车辆环境感知技术已产生了两种技术路线，一种是以相机为主导的纯视觉感知方案，典型企业代表是特斯拉；另一种是以激光雷达为主导，其他传感器为辅的多传感器融合感知技术方案，典型企业代表如百度、谷歌等。但现有的两种方法都是以本车视角对周车环境进行感知，由于视角和传感器感知原理和感知范围的限制，只能感知一定范围内未被遮挡的物体，对被遮挡的物体或较远的物体无能为力，因此利用感知系统感知信息复现获得的场景不够完备且准确率较低。
4.基于此，如今自动驾驶汽车有必要使用一种用于在公共道路测试下的环境信息采集方法，获取真实的交通参与者动态变化要素，以最真实完备地评测自动驾驶汽车相关性能。


技术实现要素：

5.为了解决上述技术问题，本发明提供一种用于自动驾驶汽车在公共道路的环境信息采集方法，通过无人机长时间平稳伴飞测试车辆，采集步骤如下：
6.(1)无人机定位系统采用实时动态载波相位差分定位(rtk)方法，进行无人机的精准定位，无人机定位系统输出无人机位置信息，作为无人机控制系统的输入信息；
7.(2)无人机控制系统接收测试车辆自车定位系统和无人机定位系统传来的自车位置信息和无人机位置信息，判断无人机的控制策略，进而下达控制指令，使无人机与测试车辆在较长时间跨度上保持同步伴飞状态；
8.(3)在无人机与车辆的伴飞过程中利用无人机的机载环境信息采集设备采集前方路面信息，获得包含路面环境信息的视频帧；
9.(4)对相机进行标定去畸变，对步骤(3)所采集的视频帧进行预处理，由图像像素坐标变换成三维世界坐标；
10.(5)对预处理后的视频帧进行车道线检测，以获取路面结构信息；
11.(6)对行人目标进行检测：根据预处理后的视频帧，应用基于方向梯度直方图(hog)和线性支持向量机(svm)算法，检测是否存在行人目标，当检测到行人目标时，获取行人目标的全局位置坐标global_x、global_y，时间戳global_time，并在初次识别到行人目标时分配一个行人识别号pedestrian_id；
12.(7)对行人进行跟踪，跟踪到的相同行人，行人识别号将不会改变，由此生成行人位置的时间序列，获得行人轨迹信息，根据行人轨迹信息获取行人速度v_pedestrian、加速度a_pedestrian；
13.(8)对车辆目标进行检测，根据预处理后的视频帧，应用yolov3算法检测车辆目标，当检测到车辆目标时，获取车辆目标的全局坐标位置global_x、global_y、车辆长度vehicle_length、车辆宽度vehicle_width、车辆种类vehicle_type、时间戳global_time和当前车道位置line_id，并在初次识别到车辆目标时分配一个车辆识别号vehicle_id；
14.(9)对车辆进行跟踪，由此生成车辆轨迹信息，进而获取车辆速度v_pedestrian、加速度a_pedestrian。
15.进一步的，步骤(2)中，所述的无人机与测试车辆在较长时间跨度上保持同步伴飞状态的方法如下：以车道方向切向为纵向，以车道方向法向为横向，无人机保持水平高度不变，不产生或少产生横向位移(横向位移＜0.1m)，获取上一段时间t(t＞30s)内自车纵向速度均值作为本段时间t内的无人机纵向速度。
16.进一步的，步骤(3)中，所述的环境信息采集设备为无人机搭载的相机图像传感器。
17.进一步的，步骤(4)中，三维世界坐标到图像像素坐标的关系如下：
[0018][0019]
其中图像像素坐标系为(u，v)，世界坐标系为(xw，yw，zw)，像素单位长度尺寸大小为d
x
和dy，主点的像素坐标为(u0，ν0)，f为归一化焦距，r为旋转矩阵，t为平移向量，等式右侧的内参矩阵和外参矩阵都由张正友棋盘标定法得出，由步骤(1)中的无人机定位模块可知无人机距离地面的高度h，求出zc，确定像素坐标与世界坐标之间的坐标变换关系。
[0020]
进一步的，步骤(5)中，车道线检测步骤具体如下：
[0021]
(5.1)将预处理的视频帧转化为灰度图：该步骤可以直接将图像三个颜色通道值取均值或加权平均；
[0022]
(5.2)进行高斯平滑：消除采集视频帧时不可避免的噪声和一些不重要的细小线条对车道线检测效果的影响；对于窗口模板的大小为(2k+1)
×
(2k+1)，模板中各个位置对应权值的计算公式如下：
[0023][0024]hi，j
表示以模板中心为基准第i行第j列的权值，σ为方差，k由窗口模板大小获得。
使用获得的位置对应权值与灰度图进行卷积，即可获得高斯平滑处理后的图像。
[0025]
(5.3)边缘检测：通过点乘一个sobel或其他算子得到不同方向的梯度g
x
(m，n)，gy(m，n)，由以下公式计算综合梯度值和梯度方向：
[0026][0027][0028]
g(m，n)为综合梯度值，θ为梯度方向；
[0029]
再将在梯度方向上梯度值不是最大的边缘点过滤，最后使用上下阈值法来检测边缘；
[0030]
(5.4)霍夫转换：将笛卡尔坐标系中的点变换到霍夫空间内，选择霍夫空间内尽可能多的直线汇聚成的点作为笛卡尔坐标系下车道线变换而来的点，获取车道线；
[0031]
(5.5)线条提取：实际道路上的车道线由于虚线、磨损以及障碍物的遮挡会使步骤(5.4)获取的车道线有许多间断，故而对霍夫转换而得的车道线进行线条提取以获得完整车道线。
[0032]
进一步的，步骤(7)中，对行人进行跟踪的过程使用sort算法，由步骤(6)的目标检测结果与卡尔曼滤波、匈牙利算法实现：
[0033]
卡尔曼滤波算法是使用数学模型对系统进行状态最优估计，将预测值与测量值融合，算法分为状态向量预测和量测更新两部分，状态向量预测用来预测当前状态向量和状态向量协方差矩阵的取值，量测更新的目的则是更新状态向量，状态向量预测方程如下：
[0034]
x＝fx
t-1
[0035]
p＝fp
t-1ft
+q
[0036]
量测更新方程如下：
[0037]kt
＝ph
t
[hph
t
+r]-1
[0038]
x
t
＝x+k
t
(z
t-hx)
[0039]
p
t
＝(i-k
t
h)p
[0040]
其中，x为当前状态的预测状态向量；f表示转换矩阵；x
t-1
表示前一时刻的状态向量，p为x对应的协方差；q为系统噪声协方差；k
t
为当前的卡尔曼增益；h表示状态变量到测量的转换矩阵；r为观测噪声；x
t
为当前时刻状态向量；z
t
为当前观测值；
[0041]
上一帧图片在经过卡尔曼滤波算法预测之后，会在当前帧预测出多个矩形框，匈牙利算法的任务就是将当前帧检测出的矩形框与卡尔曼滤波预测的矩形框进行匹配，判断是否为同一目标，从而达到跟踪的目的。
[0042]
进一步的，步骤(9)中，对车辆进行跟踪使用camshift算法，该算法是基于前方运动车辆的颜色特征来实现已有检测车辆结果的跟踪，将检测结果中车辆区域的颜色直方图作为匹配基础，通过对图像的颜色直方图的计算得到跟踪车辆区域的概率分布相近的区域，推算出跟踪区域的偏移量，经过多次迭代运算，当偏移量小于阈值或迭代次数超过阈值时，完成对车辆目标区域的跟踪。
[0043]
本发明的有益效果：
[0044]
本发明旨在提供一种用于自动驾驶汽车在公共道路测试下的环境信息采集方法，以更高的视角、更大的范围获取车辆周围路面信息，有效的避免了因车辆自身传感器感知范围不够远和被路面障碍物与其他交通参与者遮挡的情况，在保证测试真实度的同时，还可获取更加完备的公共道路场景信息；所得数据可以离线分析，获得更为精准的性能评测；所获取的公共道路场景信息可用作虚拟测试的场景输入，重复测试自动驾驶汽车的相关性能，增强了公共道路测试可重复性。
附图说明
[0045]
图1为本发明的场景示意图；
[0046]
图2为本发明实施例的系统架构图；
[0047]
图3为本发明的坐标变换关系图；
[0048]
图4为本发明的车道线检测流程图。
具体实施方式
[0049]
请参阅图1-4所示：
[0050]
本发明提供一种用于自动驾驶汽车在公共道路的环境信息采集方法，以无人机长时间平稳伴飞测试车辆，无人机机载系统中包括：无人机定位模块、无人机运动控制模块、环境信息采集模块、环境信息预处理模块、车道线检测模块、行人检测模块、行人跟踪模块、车辆检测模块和车辆跟踪模块；
[0051]
环境信息采集方法包括以下步骤：
[0052]
(1)无人机定位模块采用实时动态载波相位差分定位(rtk)方法，实时处理两个测量站载波相位观测量的差分，定位精度可以达到厘米级，以达到无人机的精准定位，无人机定位模块输出无人机位置信息，作为无人机控制模块的输入信息；
[0053]
(2)无人机控制模块接收测试车辆自车定位模块和无人机定位模块传来的自车位置信息和无人机位置信息，判断无人机的控制策略，进而下达控制指令，使无人机与测试车辆在较长时间跨度上保持同步伴飞状态；
[0054]
由于无人机在与车辆完全同步伴飞情况下会使自身的飞行轨迹过于复杂，导致场景边界变化过多，处在场景边界位置的动态交通参与者在采集到的视频帧中时有时无，造成后续目标检测和目标跟踪过程不必要的错检漏检，也使后续的场景复现更为困难，故而在无人机控制模块中提出了“使无人机与车辆在较长时间跨度上同步伴飞”的方式：以车道方向切向为纵向，以车道方向法向为横向，无人机保持水平高度不变，不产生或少产生横向位移(横向位移＜0.1m)，获取上一段时间t(t＞30s)内自车纵向速度均值作为本段时间t内的无人机纵向速度。
[0055]
(3)在无人机与车辆的伴飞过程中利用无人机的机载环境信息采集模块采集前方路面信息，获得包含路面环境信息的视频帧；所述的环境信息采集模块为无人机搭载的相机图像传感器；
[0056]
(4)利用环境信息预处理模块对相机进行标定去畸变，对步骤(3)所采集的视频帧进行预处理，由图像像素坐标变换成三维世界坐标；
[0057]
三维世界坐标到图像像素坐标的关系如图3所示，坐标变换关系如下：
[0058][0059]
其中图像像素坐标系为(u，v)，世界坐标系为(xw，yw，zw)，像素单位长度尺寸大小为d
x
和dy，主点的像素坐标为(u0，ν0)，f为归一化焦距，r为旋转矩阵，t为平移向量，等式右侧的内参矩阵和外参矩阵都由张正友棋盘标定法得出，由步骤(1)中的无人机定位模块可知无人机距离地面的高度h，求出zc，确定像素坐标与世界坐标之间的坐标变换关系。
[0060]
(5)利用车道线检测模块对预处理后的视频帧进行车道线检测，以获取路面结构信息，如图4所示，车道线检测步骤具体如下：
[0061]
(5.1)将预处理的视频帧转化为灰度图：该步骤可以直接将图像三个颜色通道值取均值或加权平均；
[0062]
(5.2)进行高斯平滑：消除采集视频帧时不可避免的噪声和一些不重要的细小线条对车道线检测效果的影响；对于窗口模板的大小为(2k+1)
×
(2k+1)，模板中各个位置对应权值的计算公式如下：
[0063][0064]hi，j
表示以模板中心为基准第i行第j列的权值，σ为方差，k由窗口模板大小获得。使用获得的位置对应权值与灰度图进行卷积，即可获得高斯平滑处理后的图像。
[0065]
(5.3)边缘检测：通过点乘一个sobel或其他算子得到不同方向的梯度g
x
(m，n)，gy(m，n)，由以下公式计算综合梯度值和梯度方向：
[0066][0067][0068]
g(m，n)为综合梯度值，θ为梯度方向；
[0069]
再将在梯度方向上梯度值不是最大的边缘点过滤，最后使用上下阈值法来检测边缘；
[0070]
(5.4)霍夫转换：将笛卡尔坐标系中的点变换到霍夫空间内，选择霍夫空间内尽可能多的直线汇聚成的点作为笛卡尔坐标系下车道线变换而来的点，获取车道线；
[0071]
(5.5)线条提取：实际道路上的车道线由于虚线、磨损以及障碍物的遮挡会使步骤(5.4)获取的车道线有许多间断，故而对霍夫转换而得的车道线进行线条提取以获得完整车道线。
[0072]
(6)利用行人检测模块对行人目标进行检测：根据预处理后的视频帧，应用基于方向梯度直方图(hog)和线性支持向量机(svm)算法，检测是否存在行人目标，当检测到行人目标时，获取行人目标的全局位置坐标global_x、global_y，时间戳global_time，并在初次
识别到行人目标时分配一个行人识别号pedestrian_id；
[0073]
(7)利用行人跟踪模块对行人进行跟踪，跟踪到的相同行人，行人识别号将不会改变，由此生成行人位置的时间序列，获得行人轨迹信息，根据行人轨迹信息获取行人速度v_pedestrian，加速度a_pedestrian；所述行人跟踪模块使用sort算法，由步骤(6)的目标检测结果与卡尔曼滤波、匈牙利算法实现；
[0074]
卡尔曼滤波算法是使用数学模型对系统进行状态最优估计，将预测值与测量值融合，算法分为状态向量预测和量测更新两部分，状态向量预测用来预测当前状态向量和状态向量协方差矩阵的取值，量测更新的目的则是更新状态向量，状态向量预测方程如下：
[0075]
x＝fx
t-1
[0076]
p＝fp
t-1ft
+q
[0077]
量测更新方程如下：
[0078]kt
＝ph
t
[hph
t
+r]-1
[0079]
x
t
＝x+k
t
(z
t-hx)
[0080]
p
t
＝(i-k
t
h)p
[0081]
其中，x为当前状态的预测状态向量；f表示转换矩阵；x
t-1
表示前一时刻的状态向量，p为x对应的协方差；q为系统噪声协方差；k
t
为当前的卡尔曼增益；h表示状态变量到测量的转换矩阵；r为观测噪声；x
t
为当前时刻状态向量；z
t
为当前观测值；
[0082]
上一帧图片在经过卡尔曼滤波算法预测之后，会在当前帧预测出多个矩形框，匈牙利算法的任务就是将当前帧检测出的矩形框与卡尔曼滤波预测的矩形框进行匹配，判断是否为同一目标，从而达到跟踪的目的。
[0083]
(8)利用车辆检测模块对车辆目标进行检测，根据预处理后的视频帧，应用yolov3算法检测车辆目标，当检测到车辆目标时，获取车辆目标的全局坐标位置global_x、global_y、车辆长度vehicle_length、车辆宽度vehicle_width、车辆种类vehicle_type、时间戳global_time和当前车道位置line_id(该车所在第几车道)，并在初次识别到车辆目标时分配一个车辆识别号vehicle_id；
[0084]
(9)利用车辆跟踪模块对车辆进行跟踪，由此生成车辆轨迹信息，进而获取车辆速度v_pedestrian、加速度a_pedestrian。所述车辆跟踪模块使用camshift算法，该算法是基于前方运动车辆的颜色特征来实现已有检测车辆结果的跟踪，将检测结果中车辆区域的颜色直方图作为匹配基础，通过对图像的颜色直方图的计算得到跟踪车辆区域的概率分布相近的区域，推算出跟踪区域的偏移量，经过多次迭代运算，当偏移量小于阈值或迭代次数超过阈值时，完成对车辆目标区域的跟踪。

技术特征：
1.一种用于自动驾驶汽车在公共道路的环境信息采集方法，其特征在于：通过无人机长时间平稳伴飞测试车辆，采集步骤如下：(1)无人机定位系统采用实时动态载波相位差分定位方法，进行无人机的精准定位，无人机定位系统输出无人机位置信息，作为无人机控制系统的输入信息；(2)无人机控制系统接收测试车辆自车定位系统和无人机定位系统传来的自车位置信息和无人机位置信息，判断无人机的控制策略，进而下达控制指令，使无人机与测试车辆在较长时间跨度上保持同步伴飞状态；(3)在无人机与车辆的伴飞过程中利用无人机的机载环境信息采集设备采集前方路面信息，获得包含路面环境信息的视频帧；(4)对相机进行标定去畸变，对步骤(3)所采集的视频帧进行预处理，由图像像素坐标变换成三维世界坐标；(5)对预处理后的视频帧进行车道线检测，以获取路面结构信息；(6)对行人目标进行检测：根据预处理后的视频帧，应用基于方向梯度直方图(hog)和线性支持向量机(svm)算法，检测是否存在行人目标，当检测到行人目标时，获取行人目标的全局位置坐标global_x、global_y、时间戳global_time，并在初次识别到行人目标时分配一个行人识别号pedestrian_id；(7)对行人进行跟踪，跟踪到的相同行人，行人识别号将不会改变，由此生成行人位置的时间序列，获得行人轨迹信息，根据行人轨迹信息获取行人速度v_pedestrian、加速度a_pedestrian；(8)对车辆目标进行检测，根据预处理后的视频帧，应用yolov3算法检测车辆目标，当检测到车辆目标时，获取车辆目标的全局坐标位置global_x、global_y、车辆长度vehicle_length、车辆宽度vehicle_width、车辆种类vehicle_type、时间戳global_time和当前车道位置line_id，并在初次识别到车辆目标时分配一个车辆识别号vehicle_id；(9)对车辆进行跟踪，由此生成车辆轨迹信息，进而获取车辆速度v_pedestrian、加速度a_pedestrian。2.根据权利要求1所述的一种用于自动驾驶汽车在公共道路的环境信息采集方法，其特征在于：步骤(2)中，所述的无人机与测试车辆在较长时间跨度上保持同步伴飞状态的方法如下：以车道方向切向为纵向，以车道方向法向为横向，无人机保持水平高度不变，不产生或少产生横向位移，获取上一段时间t内自车纵向速度均值作为本段时间t内的无人机纵向速度。3.根据权利要求1所述的一种用于自动驾驶汽车在公共道路的环境信息采集方法，其特征在于：步骤(3)中，所述的环境信息采集设备为无人机搭载的相机图像传感器。4.根据权利要求1所述的一种用于自动驾驶汽车在公共道路的环境信息采集方法，其特征在于：步骤(4)中，三维世界坐标到图像像素坐标的关系如下：
其中图像像素坐标系为(u,v)，世界坐标系为(x
w
,y
w
,z
w
)，像素单位长度尺寸大小为d
x
和d
y
，主点的像素坐标为(u0，v0)，f为归一化焦距，r为旋转矩阵，t为平移向量，等式右侧的内参矩阵和外参矩阵都由张正友棋盘标定法得出，由步骤(1)中的无人机定位系统可知无人机距离地面的高度h，求出z
c
，确定像素坐标与世界坐标之间的坐标变换关系。5.根据权利要求4所述的一种用于自动驾驶汽车在公共道路的环境信息采集方法，其特征在于：步骤(5)车道线检测步骤具体如下：(5.1)将预处理的视频帧转化为灰度图：该步骤可以直接将图像三个颜色通道值取均值或加权平均；(5.2)进行高斯平滑：消除采集视频帧时不可避免的噪声和一些不重要的细小线条对车道线检测效果的影响；对于窗口模板的大小为(2k+1)
×
(2k+1)，模板中各个位置对应权值的计算公式如下：h
i,j
表示以模板中心为基准第i行第j列的权值，σ为方差，k由窗口模板大小获得；使用获得的位置对应权值与灰度图进行卷积，即可获得高斯平滑处理后的图像；(5.3)边缘检测：通过点乘一个sobel或其他算子得到不同方向的梯度g
x
(m,n),g
y
(m,n)，由以下公式计算综合梯度值和梯度方向：n)，由以下公式计算综合梯度值和梯度方向：g(m,n)为综合梯度值，θ为梯度方向；再将在梯度方向上梯度值不是最大的边缘点过滤，最后使用上下阈值法来检测边缘；(5.4)霍夫转换：将笛卡尔坐标系中的点变换到霍夫空间内，选择霍夫空间内尽可能多的直线汇聚成的点作为笛卡尔坐标系下车道线变换而来的点，获取车道线；(5.5)线条提取：实际道路上的车道线由于虚线、磨损以及障碍物的遮挡会使步骤(5.4)获取的车道线有许多间断，故而对霍夫转换而得的车道线进行线条提取以获得完整车道线。6.根据权利要求1或5所述的一种用于自动驾驶汽车在公共道路的环境信息采集方法，其特征在于：步骤(7)中，对行人进行跟踪的过程使用sort算法，由步骤(6)的目标检测结果与卡尔曼滤波、匈牙利算法实现：卡尔曼滤波算法是使用数学模型对系统进行状态最优估计，将预测值与测量值融合，
算法分为状态向量预测和量测更新两部分，状态向量预测用来预测当前状态向量和状态向量协方差矩阵的取值，量测更新的目的则是更新状态向量，状态向量预测方程如下：x＝fx
t-1
p＝fp
t-1
f
t
+q量测更新方程如下：k
t
＝ph
t
[hph
t
+r]-1
x
t
＝x+k
t
(z
t-hx)p
t
＝(i-k
t
h)p其中，x为当前状态的预测状态向量；f表示转换矩阵；x
t-1
表示前一时刻的状态向量，p为x对应的协方差；q为系统噪声协方差；k
t
为当前的卡尔曼增益；h表示状态变量到测量的转换矩阵；r为观测噪声；x
t
为当前时刻状态向量；z
t
为当前观测值；上一帧图片在经过卡尔曼滤波算法预测之后，会在当前帧预测出多个矩形框，匈牙利算法的任务就是将当前帧检测出的矩形框与卡尔曼滤波预测的矩形框进行匹配，判断是否为同一目标，从而达到跟踪的目的。7.根据权利要求6所述的一种用于自动驾驶汽车在公共道路的环境信息采集方法，其特征在于：步骤(9)中，对车辆进行跟踪使用camshift算法，该算法是基于前方运动车辆的颜色特征来实现已有检测车辆结果的跟踪，将检测结果中车辆区域的颜色直方图作为匹配基础，通过对图像的颜色直方图的计算得到跟踪车辆区域的概率分布相近的区域，推算出跟踪区域的偏移量，经过多次迭代运算，当偏移量小于阈值或迭代次数超过阈值时，完成对车辆目标区域的跟踪。

技术总结
本发明涉及一种用于自动驾驶汽车在公共道路的环境信息采集方法，通过无人机长时间平稳伴飞测试车辆，利用无人机的机载环境信息采集设备采集前方路面信息，对所采集的视频帧进行预处理，对预处理后的视频帧进行车道线检、行人目标检测跟踪和车辆目标检测跟踪。本发明以更高的视角、更大的范围获取车辆周围路面信息，有效的避免了因车辆自身传感器感知范围不够远和被路面障碍物与其他交通参与者遮挡的情况，在保证测试真实度的同时，还可获取更加完备的公共道路场景信息；所得数据可以离线分析，获得更为精准的性能评测；所获取的公共道路场景信息可用作虚拟测试的场景输入，重复测试自动驾驶汽车的相关性能，增强了公共道路测试可重复性。试可重复性。试可重复性。


技术研发人员：赵健 薛越 朱冰 宋东鉴 刘宇翔 禚凇瑀 高质桐
受保护的技术使用者：吉林大学
技术研发日：2021.12.13
技术公布日：2022/3/8