基于深度学习的汽车列车铰接角度视觉估计方法及装置

本技术涉及车辆与环境感知交叉，特别涉及一种基于深度学习的汽车列车铰接角度视觉估计方法及装置。

背景技术：

1、汽车列车，作为一种新型的自动轨道交通模式，逐渐在中国越来越多的都市成为了一种重要且日常的交通工具。与传统乘用车相比，汽车列车由多个车辆单元通过铰链连接而成，因此在运输效率上具有优势。作为一个明显更复杂的动态系统，汽车列车更容易出现不稳定的运动，在实际使用过程中，汽车列车面临着更多的挑战。其中，铰接角度始终是自动驾驶系统的必要和不可避免的变量，铰接角度构成了汽车列车与乘用车动态特性最显著和决定性的区别，铰接角度在确定汽车列车的运动中起着重要作用。所以，测量或估计铰接角度的重要性不言而喻。

2、相关技术中，铰接角度多是使用角度传感器测量的，例如激光测距仪等高精度测量设备。通常将角度传感器安装在铰接点附近，以实现实时测量铰接角度的功能。

3、然而，相关技术中使用角度传感器进行铰接角度测量，角度传感器容易受到物理损坏，定期更换十分不便，且因为汽车列车的耦合和解耦过程十分繁重，角度传感器由于耦合和解耦的不便性，在实际使用过程中也十分不便，亟待解决。

技术实现思路

1、本技术提供一种基于深度学习的汽车列车铰接角度视觉估计方法及装置，以解决相关技术中使用角度传感器进行铰接角度测量，角度传感器容易受到物理损坏，定期更换十分不便，且因为汽车列车的耦合和解耦过程十分繁重，角度传感器由于耦合和解耦的不便性，在实际使用过程中也十分不便等问题。

2、本技术第一方面实施例提供一种基于深度学习的汽车列车铰接角度视觉估计方法，包括以下步骤：获取设置在汽车列车上的全景环视系统所捕捉的视觉图像和所述汽车列车的两个车辆单元之间的角度真实值；构建目标神经网络，计算所述角度真实值在所述视觉图像的对应时间点上的空间姿态真实值，以利用所述空间姿态真实值构建目标损失函数，利用所述目标损失函数训练所述目标神经网络，以得到训练后的神经网络，其中，所述空间姿态真实值包括旋转矩阵和平移向量；将所述视觉图像输入到所述训练后的神经网络，提取所述汽车列车的两个车辆单元之间相对空间姿态的特征，通过convlstm补偿所述特征的时间依赖性，得到编码后的特征，以从所述编码后的特征解码目标的空间姿态；将所述空间姿态的旋转矩阵分解为欧拉角，以估计所述汽车列车的车辆铰接角度。

3、可选地，在本技术的一个实施例中，在计算所述角度真实值在所述视觉图像对应时间点上的空间姿态真实值之前，还包括：获取所述汽车列车的两个车辆单元之间的第一夹角和第二夹角，其中，所述第一夹角为两个车辆单元之间的夹角小于180°的一侧，所述第二夹角为两个车辆单元之间的夹角大于180°的一侧；基于所述第一夹角和所述第二夹角，确定所述角度真实值。

4、可选地，在本技术的一个实施例中，所述计算所述角度真实值在所述视觉图像的对应时间点上的空间姿态真实值，包括：补偿所述全景环视系统的安装角度，使所述全景环视系统的采集平面旋转到所述汽车列车的运动平面，以计算所述角度真实值在所述视觉图像的对应时间点上的空间姿态真实值。

5、可选地，在本技术的一个实施例中，所述空间姿态真实值中的旋转矩阵为：

6、

7、其中，为t时刻在所述空间姿态真实值中的旋转矩阵，表示围绕相邻相机坐标系的x轴旋转π/2-γ角度的旋转矩阵，表示t时刻在车辆的运动平面上围绕y轴旋转θ角度的旋转矩阵，使相机坐标系到相邻相机坐标系的旋转变换，θ是铰接角度，xri(γ)表示围绕相机坐标系的x轴旋转π/2-γ角度的旋转矩阵，其中，

8、

9、

10、可选地，在本技术的一个实施例中，所述空间姿态真实值中的平移向量为：

11、

12、其中，表示t时刻在所述空间姿态真实值中的平移向量，表示围绕相邻相机坐标系的x轴旋转π/2-γ角度的旋转矩阵，表示t时刻在车辆的运动平面上围绕y轴旋转θ角度的旋转矩阵，使相机坐标系到相邻相机坐标系的旋转变换，θ是铰接角度，tw表示同一车辆一侧到另一侧的横向位移，tw＝[0，0，sw]t，sw表示车辆宽度，tl表示从相机安装点到车辆铰接点的纵向位移，tl＝[sl，0，0]t，sl表示从相机安装点到车辆铰接点的纵向侧向距离。

13、可选地，在本技术的一个实施例中，所述目标神经网络的网络结构、输入和输出分别为：

14、

15、h(t)＝convlstm(h(t-1)，c(t-1)，x(t))，

16、

17、其中，表示相邻相机坐标系的相机cj在时间t捕获的图像，表示相机坐标系的相机ci在时间t捕获的图像，x(t)表示输入层在时间t得到的特征图，penc表示姿态编码器，convlstm表示深度学习模型的单层convlstm，h(t)表示在时间t单层convlstm的隐藏状态，h(t-1)表示在前一时间的隐藏状态，c(t-1)表示在前一时间的单元状态，表示在时间t从相机坐标系到相邻相机坐标系的第一空间姿态估计结果，pdec表示姿态解码器。

18、可选地，在本技术的一个实施例中，所述利用所述目标损失函数训练所述目标神经网络的表达式为：

19、

20、

21、

22、

23、其中，表示第一空间姿态估计结果的转置结果，xri(γ)表示围绕相机坐标系的x轴旋转π/2-γ角度的旋转矩阵，表示围绕相机坐标系的x轴旋转π/2-γ角度的旋转矩阵的转置结果，表示空间铰接姿态的估计结果，表示第一平移向量的估计结果，表示在t时刻所述空间姿态真实值中的平移向量，表示围绕相邻相机坐标系的x轴旋转π/2-γ角度的旋转矩阵，表示t时刻的损失函数，frob表示frobenius范数，λ表示权重系数，i是单位矩阵，表示目标损失函数，t表示网络输入的图像序列时间长度，表示某一铰接角度θ对应的概率密度，tw＝[0，0，sw]t，sw表示车辆宽度，tl表示从相机安装点到车辆铰接点的纵向位移，tl＝[sl，0，0]t，sl表示从相机安装点到车辆铰接点的纵向侧向距离，为t时刻在所述空间姿态真实值中的旋转矩阵。

24、本技术第二方面实施例提供一种基于深度学习的汽车列车铰接角度视觉估计装置，包括：获取模块，用于获取设置在汽车列车上的全景环视系统所捕捉的视觉图像和所述汽车列车的两个车辆单元之间的角度真实值；计算模块，用于构建目标神经网络，计算所述角度真实值在所述视觉图像的对应时间点上的空间姿态真实值，以利用所述空间姿态真实值构建目标损失函数，利用所述目标损失函数训练所述目标神经网络，以得到训练后的神经网络，其中，所述空间姿态真实值包括旋转矩阵和平移向量；解码模块，用于将所述视觉图像输入到所述训练后的神经网络，提取所述汽车列车的两个车辆单元之间相对空间姿态的特征，通过convlstm补偿所述特征的时间依赖性，得到编码后的特征，以从所述编码后的特征解码目标的空间姿态；估计模块，用于将所述空间姿态的旋转矩阵分解为欧拉角，以估计所述汽车列车的车辆铰接角度。

25、可选地，在本技术的一个实施例中，还包括：获取模块，用于在计算所述角度真实值在所述视觉图像对应时间点上的空间姿态真实值之前，获取所述汽车列车的两个车辆单元之间的第一夹角和第二夹角，其中，所述第一夹角为两个车辆单元之间的夹角小于180°的一侧，所述第二夹角为两个车辆单元之间的夹角大于180°的一侧；确定模块，用于基于所述第一夹角和所述第二夹角，确定所述角度真实值。

26、可选地，在本技术的一个实施例中，所述计算模块，包括：补偿单元，用于补偿所述全景环视系统的安装角度，使所述全景环视系统的采集平面旋转到所述汽车列车的运动平面，以计算所述角度真实值在所述视觉图像的对应时间点上的空间姿态真实值。

27、可选地，在本技术的一个实施例中，所述空间姿态真实值中的旋转矩阵为：

28、

29、其中，为t时刻在所述空间姿态真实值中的旋转矩阵，表示围绕相邻相机坐标系的x轴旋转π/2-γ角度的旋转矩阵，表示t时刻在车辆的运动平面上围绕y轴旋转θ角度的旋转矩阵，使相机坐标系到相邻相机坐标系的旋转变换，θ是铰接角度，xri(γ)表示围绕相机坐标系的x轴旋转π/2-γ角度的旋转矩阵，其中，

30、

31、

32、可选地，在本技术的一个实施例中，所述空间姿态真实值中的平移向量为：

33、

34、其中，表示t时刻在所述空间姿态真实值中的平移向量，表示围绕相邻相机坐标系的x轴旋转π/2-γ角度的旋转矩阵，表示t时刻在车辆的运动平面上围绕y轴旋转θ角度的旋转矩阵，使相机坐标系到相邻相机坐标系的旋转变换，θ是铰接角度，tw表示同一车辆一侧到另一侧的横向位移，tw＝[0，0，sw]t，sw表示车辆宽度，tl表示从相机安装点到车辆铰接点的纵向位移，tl＝[sl，0，0]t，sl表示从相机安装点到车辆铰接点的纵向侧向距离。

35、可选地，在本技术的一个实施例中，所述目标神经网络的网络结构、输入和输出分别为：

36、

37、h(t)＝convlstm(h(t-1)，c(t-1)，x(t))，

38、

39、其中，表示相邻相机坐标系的相机cj在时间t捕获的图像，表示相机坐标系的相机ci在时间t捕获的图像，x(t)表示输入层在时间t得到的特征图，penc表示姿态编码器，convlstm表示深度学习模型的单层convlstm，h(t)表示在时间t单层convlstm的隐藏状态，h(t-1)表示在前一时间的隐藏状态，c(t-1)表示在前一时间的单元状态，表示在时间t从相机坐标系到相邻相机坐标系的第一空间姿态估计结果，pdec表示姿态解码器。

40、可选地，在本技术的一个实施例中，所述利用所述目标损失函数训练所述目标神经网络的表达式为：

41、

42、

43、

44、

45、其中，表示第一空间姿态估计结果的转置结果，xri(γ)表示围绕相机坐标系的x轴旋转π/2-γ角度的旋转矩阵，表示围绕相机坐标系的x轴旋转π/2-γ角度的旋转矩阵的转置结果，表示空间铰接姿态的估计结果，表示第一平移向量的估计结果，表示在t时刻所述空间姿态真实值中的平移向量，表示围绕相邻相机坐标系的x轴旋转π/2-γ角度的旋转矩阵，表示t时刻的损失函数，frob表示frobenius范数，λ表示权重系数，i是单位矩阵，表示所述目标损失函数，t表示网络输入的图像序列时间长度，表示某一铰接角度θ对应的概率密度，tw＝[0，0，sw]t，sw表示车辆宽度，tl表示从相机安装点到车辆铰接点的纵向位移，tl＝[sl，0，0]t，sl表示从相机安装点到车辆铰接点的纵向侧向距离，为t时刻在所述空间姿态真实值中的旋转矩阵。

46、本技术第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于深度学习的汽车列车铰接角度视觉估计方法。

47、本技术第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的基于深度学习的汽车列车铰接角度视觉估计方法。

48、本技术第五方面实施例提供一种计算机程序产品，包括计算机程序，所述计算机程序被执行时，以用于实现如上的基于深度学习的汽车列车铰接角度视觉估计方法。

49、本技术实施例可以通过获取全景系统捕获的视觉图像和角度真实值提取车辆单元之间相对空间姿态的特征，再通过姿态解码器从编码后的特征中解码出目标的空间姿态信息，最后将空间姿态的旋转矩阵分解为欧拉角来估计出汽车列车的车辆铰接角度。由此，实现了仅利用安装在汽车列车上的全景环视系统所捕捉的视觉图像和角度真实值，对车辆铰接角度进行估计，避免了角度传感器易受物理损伤的风险，减少了因物理损伤导致的传感器故障风险，为角度传感器提供了热备冗余，提高了系统的可靠性和耐用性，并且不会对汽车列车的耦合和解耦过程造成干扰，降低了成本并简化了安装和维护过程。由此，解决了相关技术中使用角度传感器进行铰接角度测量，角度传感器容易受到物理损坏，定期更换十分不便，且因为汽车列车的耦合和解耦过程十分繁重，角度传感器由于耦合和解耦的不便性，在实际使用过程中也十分不便等问题。

50、本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。

技术特征：

1.一种基于深度学习的汽车列车铰接角度视觉估计方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，在计算所述角度真实值在所述视觉图像对应时间点上的空间姿态真实值之前，还包括：

3.根据权利要求1所述的方法，其特征在于，所述计算所述角度真实值在所述视觉图像的对应时间点上的空间姿态真实值，包括：

4.根据权利要求1所述的方法，其特征在于，所述空间姿态真实值中的旋转矩阵为：

5.根据权利要求1所述的方法，其特征在于，所述空间姿态真实值中的平移向量为：

6.根据权利要求1所述的方法，所述目标神经网络的网络结构、输入和输出分别为：

7.根据权利要求6所述的方法，所述利用所述目标损失函数训练所述目标神经网络的表达式为：

8.一种基于深度学习的汽车列车铰接角度视觉估计装置，其特征在于，包括：

9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-7任一项所述的基于深度学习的汽车列车铰接角度视觉估计方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-7任一项所述的基于深度学习的汽车列车铰接角度视觉估计方法。

技术总结
本申请涉及车辆与环境感知交叉技术领域，特别涉及一种基于深度学习的汽车列车铰接角度视觉估计方法及装置，其中，方法包括：获取设置在汽车列车上的全景环视系统所捕捉的视觉图像和汽车列车的两个车辆单元之间的角度真实值；构建目标神经网络，计算角度真实值在视觉图像的对应时间点上的空间姿态真实值，利用空间姿态真实值构建目标损失函数，利用目标损失函数训练目标神经网络；将视觉图像输入到训练后的神经网络，提取两个车辆单元之间相对空间姿态的特征，通过ConvLSTM补偿特征的时间依赖性，得到编码后的特征，从编码后的特征解码目标的空间姿态；将空间姿态的旋转矩阵分解为欧拉角，以估计汽车列车的车辆铰接角度。

技术研发人员：王文军,刘伟旻,孙兆聪
受保护的技术使用者：清华大学
技术研发日：
技术公布日：2024/12/5