基于视觉的驾驶员脱手检测方法及系统与流程

1.本发明涉及自动驾驶技术领域，尤其涉及一种基于视觉的驾驶员脱手检测方法及系统。


背景技术：

2.随着智能化技术和汽车产品的发展，市场和客户也越来越接受智能化的产品，而当前的技术水平还是在l3级以下，产品的使用过程中驾驶员还是不能脱离，但实际使用过程中，往往因为驾驶员过于相信系统而注意力不集中，以致紧急情况下驾驶员不能快速接管而出现事故的情况，因此，在产品设计上就需要保证驾驶员时刻关注车辆状态并保证驾驶员能立刻接管，驾驶员注意力监测以及方向盘脱手监测即为方案实现的主要手段。
3.因此，亟需一种基于视觉的驾驶员脱手检测方法及系统。


技术实现要素：

4.本发明的目的是提供一种基于视觉的驾驶员脱手检测方法及系统，以解决上述现有技术中的问题，能够准确判断驾驶员脱手的状态，提升汽车智能化水平和安全性能，并降低成本。
5.本发明提供了一种基于视觉的驾驶员脱手检测方法，其中，包括：
6.采集驾驶员手部方向盘图像，其中，所述驾驶员手部方向盘图像包括驾驶员手部图像和方向盘图像；
7.基于驾驶员手部方向盘图像的特征信息和景深信息，检测驾驶员的手是否在方向盘上；
8.根据驾驶员的手部是否在方向盘上的检测结果和车辆方向盘状态信息，得到驾驶员脱手状态。
9.如上所述的基于视觉的驾驶员脱手检测方法，其中，优选的是，所述采集驾驶员手部方向盘图像，具体包括：
10.利用景深相机采集所述驾驶员手部方向盘图像。
11.如上所述的基于视觉的驾驶员脱手检测方法，其中，优选的是，所述景深相机设置在顶灯位置、前挡风玻璃的右上角、或前挡风玻璃的左上角。
12.如上所述的基于视觉的驾驶员脱手检测方法，其中，优选的是，所述基于驾驶员手部方向盘图像的特征信息和景深信息，检测驾驶员的手是否在方向盘上，具体包括：
13.对所述驾驶员手部方向盘图像进行特征提取，得到所述驾驶员手部方向盘图像的特征信息和景深信息；
14.根据所述驾驶员手部方向盘图像的特征信息，得到手部定位框和方向盘定位框的位置关系；
15.根据所述驾驶员手部方向盘图像的景深信息，得到手部和方向盘的相对景深数据；
16.根据所述手部定位框和方向盘定位框的位置关系和所述手部和方向盘的相对景深数据，确定驾驶员的手是否在方向盘上。
17.如上所述的基于视觉的驾驶员脱手检测方法，其中，优选的是，所述根据所述驾驶员手部方向盘图像的特征信息，得到手部定位框和方向盘定位框的位置关系，具体包括：
18.根据所述驾驶员手部方向盘图像的特征信息，计算手部特征的box属性和方向盘特征的box属性；
19.计算所述手部特征的box属性和所述方向盘特征的box属性的iou值；
20.将所述iou值作为所述手部定位框和方向盘定位框的位置关系。
21.如上所述的基于视觉的驾驶员脱手检测方法，其中，优选的是，所述根据所述驾驶员手部方向盘图像的景深信息，得到手部和方向盘的相对景深数据，具体包括：
22.根据所述驾驶员手部方向盘图像的景深信息，计算手部特征的景深a和方向盘特征的景深b；
23.计算手部特征的景深a和方向盘特征的景深b的比值，得到景深比值；
24.将所述景深比值作为所述手部和方向盘的相对景深数据。
25.如上所述的基于视觉的驾驶员脱手检测方法，其中，优选的是，所述根据所述手部定位框和方向盘定位框的位置关系和所述手部和方向盘的相对景深数据，确定驾驶员的手是否在方向盘上，具体包括：
26.若所述iou值大于预设iou阈值，且景深比值介于最低景深比阈值和最高景深比阈值之间，则确定驾驶员的手是否在方向盘上；
27.若所述iou值小于等于预设iou阈值，或景深比值小于等于最低景深比阈值，或景深比值大于等于最高景深比阈值，则确定驾驶员的手不在方向盘上。
28.如上所述的基于视觉的驾驶员脱手检测方法，其中，优选的是，所述根据驾驶员的手部是否在方向盘上的检测结果和车辆方向盘状态信息，得到驾驶员脱手状态，具体包括：
29.根据驾驶员的手部是否在方向盘上的检测结果、方向盘转角状态信息和方向盘手力矩信息，得到驾驶员脱手状态。
30.如上所述的基于视觉的驾驶员脱手检测方法，其中，优选的是，所述根据驾驶员的手部是否在方向盘上的检测结果、方向盘转角状态信息和方向盘手力矩信息，得到驾驶员脱手状态，具体包括：
31.若检测到驾驶员的手在方向盘上，且在路况稳定的情况下，方向盘转角变化低于预设转角阈值，且方向盘手力矩大于预设手力矩阈值，则驾驶员未脱手；
32.若检测到驾驶员的手不在方向盘上，或在路况稳定的情况下，方向盘转角变化大于等于预设转角阈值，或方向盘手力矩小于等于预设手力矩阈值，则驾驶员脱手。
33.本发明还提供一种采用上述方法的基于视觉的驾驶员脱手检测系统，包括：
34.手部方向盘图像采集模块，用于采集驾驶员手部方向盘图像，其中，所述驾驶员手部方向盘图像包括驾驶员手部图像和方向盘图像；
35.手部位置检测模块，用于基于驾驶员手部方向盘图像的特征信息和景深信息，检测驾驶员的手是否在方向盘上；
36.脱手状态检测模块，用于根据驾驶员的手部是否在方向盘上的检测结果和车辆方向盘状态信息，得到驾驶员脱手状态。
37.本发明提供一种基于视觉的驾驶员脱手检测方法及系统，基于视觉方案同步融合间接测量进行驾驶员脱手检测，通过采集图像，辅助车辆状态监测数据综合分析，可以准确判断驾驶员脱手的状态，提升汽车智能化水平和安全性能，与电容式方向盘的驾驶员脱手监测方案相比，有效降低了系统成本；基于驾驶员手部方向盘图像的特征信息和景深信息检测驾驶员的手是否在方向盘上，可以提升检测精度。
附图说明
38.为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步描述，其中：
39.图1为本发明提供的基于视觉的驾驶员脱手检测方法的实施例的流程图；
40.图2为本发明提供的基于视觉的驾驶员脱手检测方法的实施例的逻辑图；
41.图3为本发明提供的基于视觉的驾驶员脱手检测系统的实施例的结构框图。
具体实施方式
42.现在将参照附图来详细描述本公开的各种示例性实施例。对示例性实施例的描述仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。本公开可以以许多不同的形式实现，不限于这里所述的实施例。提供这些实施例是为了使本公开透彻且完整，并且向本领域技术人员充分表达本公开的范围。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、材料的组分、数字表达式和数值应被解释为仅仅是示例性的，而不是作为限制。
43.本公开中使用的“第一”、“第二”：以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的部分。“包括”或者“包含”等类似的词语意指在该词前的要素涵盖在该词后列举的要素，并不排除也涵盖其他要素的可能。“上”、“下”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
44.在本公开中，当描述到特定部件位于第一部件和第二部件之间时，在该特定部件与第一部件或第二部件之间可以存在居间部件，也可以不存在居间部件。当描述到特定部件连接其它部件时，该特定部件可以与所述其它部件直接连接而不具有居间部件，也可以不与所述其它部件直接连接而具有居间部件。
45.本公开使用的所有术语(包括技术术语或者科学术语)与本公开所属领域的普通技术人员理解的含义相同，除非另外特别定义。还应当理解，在诸如通用字典中定义的术语应当被解释为具有与它们在相关技术的上下文中的含义相一致的含义，而不应用理想化或极度形式化的意义来解释，除非这里明确地这样定义。
46.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，技术、方法和设备应当被视为说明书的一部分。
47.为了避免驾驶员过于相信系统而注意力不集中，以致紧急情况下驾驶员不能快速接管而出现事故的情况，因此，在产品设计上就需要保证驾驶员时刻关注车辆状态并保证驾驶员能立刻接管，驾驶员注意力监测以及方向盘脱手监测即为方案实现的主要手段。
48.针对方向盘脱手监测手段，目前采用的技术方案有电容式方向盘直接测量方案和间接测量方案。电容式方向盘直接测量方案是直接监测在方向盘上设计电容感应区域，通
过在方向盘上增加电容传感器，当驾驶员手部接触到电容式传感器区域即可产生接触的信号，通过在方向盘的不同区域布置电容式传感器，可确定驾驶员是否握住方向盘以及哪只手握住方向盘，这种方案的缺陷在于需要通过增加电容式方向盘来感知驾驶员手部是否在方向盘上，由于增加了电容式方向盘，其成本增加约2000元，成本增加过高，不利于推广。间接测量方案是使用驾驶行为信号并结合车辆状态信号，采用统计分析、机器学习等方法分析驾驶员是否握住方向盘的状态，该方案虽然不需要在车辆上额外增加任何传感器及硬件设备，不会造成车辆制造成本的增加，但相对直接测量的方案，其准确性上存在一定的不足。
49.如图1和图2所示，本实施例提供的基于视觉的驾驶员脱手检测方法在实际执行过程中，具体包括如下步骤：
50.步骤s1、采集驾驶员手部方向盘图像，其中，所述驾驶员手部方向盘图像包括驾驶员手部图像和方向盘图像。
51.具体地，利用景深(rgb-d)相机采集所述驾驶员手部方向盘图像。景深相机不仅能采集图像的颜色信息和位置信息，还能采集图像的景深信息，与普通rgb相机和ir相机相比，由于增加了图像景深信息，因此可以有效提升图像采集的准确度，同时也提升了其适应性。其中，所述景深相机设置在顶灯位置、前挡风玻璃的右上角、或前挡风玻璃的左上角。需要说明的是，本发明对景深相机的具体位置不作限定，只要保证能够将驾驶员手部和方向盘照全即可。
52.步骤s2、基于驾驶员手部方向盘图像的特征信息和景深信息，检测驾驶员的手是否在方向盘上。
53.在本发明的基于视觉的驾驶员脱手检测方法的一种实施方式中，所述步骤s2具体可以包括：
54.步骤s21、对所述驾驶员手部方向盘图像进行特征提取，得到所述驾驶员手部方向盘图像的特征信息和景深信息。
55.具体而言，通过深度学习模型对驾驶员手部方向盘图像的关键特征点进行特征提取。驾驶员手部方向盘图像的特征信息和景深信息是同步得到的，后续基于特征信息和景深信息的分析也是同步进行的。景深信息表征的是拍摄对象与相机之间的距离信息。
56.步骤s22、根据所述驾驶员手部方向盘图像的特征信息，得到手部定位框和方向盘定位框的位置关系。
57.在本发明的基于视觉的驾驶员脱手检测方法的一种实施方式中，所述步骤s22具体可以包括：
58.步骤s221、根据所述驾驶员手部方向盘图像的特征信息，计算手部特征的box属性和方向盘特征的box属性。
59.通过计算手部特征的box属性和方向盘特征的box属性，可以确定手部定位框和方向盘定位框的位置。
60.步骤s222、计算所述手部特征的box属性和所述方向盘特征的box属性的iou(intersection-over-union，交并比)值。
61.步骤s223、将所述iou值作为所述手部定位框和方向盘定位框的位置关系。
62.iou值可以表征手部和方向盘在预设方向的投影图像的重合度信息。
63.步骤s23、根据所述驾驶员手部方向盘图像的景深信息，得到手部和方向盘的相对景深数据。
64.在本发明的基于视觉的驾驶员脱手检测方法的一种实施方式中，所述步骤s23具体可以包括：
65.步骤s231、根据所述驾驶员手部方向盘图像的景深信息，计算手部特征的景深a和方向盘特征的景深b。
66.步骤s232、计算手部特征的景深a和方向盘特征的景深b的比值，得到景深比值。
67.若景深比值大于1，表明手部在方向盘上方；若景深比值小于1，表明手部在方向盘下方。
68.步骤s233、将所述景深比值作为所述手部和方向盘的相对景深数据。
69.相对景深数据可以表征手部和方向盘在垂直方向上的相对位置。
70.步骤s24、根据所述手部定位框和方向盘定位框的位置关系和所述手部和方向盘的相对景深数据，确定驾驶员的手是否在方向盘上。
71.在本发明的基于视觉的驾驶员脱手检测方法的一种实施方式中，所述步骤s24具体可以包括：
72.步骤s241、若所述iou值大于预设iou阈值，且景深比值介于最低景深比阈值和最高景深比阈值之间，则确定驾驶员的手是否在方向盘上。
73.最低景深比阈值和最高景深比阈值的设置，是考虑了驾驶员对方向盘的抓握习惯，有的驾驶员习惯抓握方向盘的顶部，有的驾驶员则习惯抓握方向盘的底部。
74.步骤s242、若所述iou值小于等于预设iou阈值，或景深比值小于等于最低景深比阈值，或景深比值大于等于最高景深比阈值，则确定驾驶员的手不在方向盘上。
75.步骤s3、根据驾驶员的手部是否在方向盘上的检测结果和车辆方向盘状态信息，得到驾驶员脱手状态。
76.具体地，根据驾驶员的手部是否在方向盘上的检测结果、方向盘转角状态信息和方向盘手力矩信息，得到驾驶员脱手状态。需要说明的是，在本发明中，驾驶员手部位置的监测和车辆方向盘状态信息的监测可以同步进行，也可以依次进行，本发明对此不作具体限定。
77.在本发明的基于视觉的驾驶员脱手检测方法的一种实施方式中，所述步骤s3具体可以包括：
78.步骤s31、若检测到驾驶员的手在方向盘上，且在路况稳定的情况下，方向盘转角变化低于预设转角阈值，且方向盘手力矩大于预设手力矩阈值，则驾驶员未脱手。
79.步骤s32、若检测到驾驶员的手不在方向盘上，或在路况稳定的情况下，方向盘转角变化大于等于预设转角阈值，或方向盘手力矩小于等于预设手力矩阈值，则驾驶员脱手。
80.若驾驶员的手虽然在方向盘上，但并未有效抓握，仅是空心握着，在路况稳定的情况，前方有危险的扰动(例如小石子等)，方向盘就会明显抖动，检测到的力矩信息也比较小，因此可以据此来检测驾驶员的脱手状态。
81.本发明实施例提供的基于视觉的驾驶员脱手检测方法，基于视觉方案同步融合间接测量进行驾驶员脱手检测，通过采集图像，辅助车辆状态监测数据综合分析，可以准确判断驾驶员脱手的状态，提升汽车智能化水平和安全性能，与电容式方向盘的驾驶员脱手监
测方案相比，有效降低了系统成本；基于驾驶员手部方向盘图像的特征信息和景深信息检测驾驶员的手是否在方向盘上，可以提升检测精度。
82.相应地，如图3所示，本发明还提供一种基于视觉的驾驶员脱手检测系统，包括：
83.手部方向盘图像采集模块1，用于采集驾驶员手部方向盘图像，其中，所述驾驶员手部方向盘图像包括驾驶员手部图像和方向盘图像；
84.手部位置检测模块2，用于基于驾驶员手部方向盘图像的特征信息和景深信息，检测驾驶员的手是否在方向盘上；
85.脱手状态检测模块3，用于根据驾驶员的手部是否在方向盘上的检测结果和车辆方向盘状态信息，得到驾驶员脱手状态。
86.本发明实施例提供的基于视觉的驾驶员脱手检测系统，基于视觉方案同步融合间接测量进行驾驶员脱手检测，通过采集图像，辅助车辆状态监测数据综合分析，可以准确判断驾驶员脱手的状态，提升汽车智能化水平和安全性能，与电容式方向盘的驾驶员脱手监测方案相比，有效降低了系统成本；基于驾驶员手部方向盘图像的特征信息和景深信息检测驾驶员的手是否在方向盘上，可以提升检测精度。
87.至此，已经详细描述了本公开的各实施例。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。
88.虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改或者对部分技术特征进行等同替换。本公开的范围由所附权利要求来限定。

技术特征：
1.一种基于视觉的驾驶员脱手检测方法，其特征在于，包括：采集驾驶员手部方向盘图像，其中，所述驾驶员手部方向盘图像包括驾驶员手部图像和方向盘图像；基于驾驶员手部方向盘图像的特征信息和景深信息，检测驾驶员的手是否在方向盘上；根据驾驶员的手部是否在方向盘上的检测结果和车辆方向盘状态信息，得到驾驶员脱手状态。2.根据权利要求1所述的基于视觉的驾驶员脱手检测方法，其特征在于，所述采集驾驶员手部方向盘图像，具体包括：利用景深相机采集所述驾驶员手部方向盘图像。3.根据权利要求2所述的基于视觉的驾驶员脱手检测方法，其特征在于，所述景深相机设置在顶灯位置、前挡风玻璃的右上角、或前挡风玻璃的左上角。4.根据权利要求2所述的基于视觉的驾驶员脱手检测方法，其特征在于，所述基于驾驶员手部方向盘图像的特征信息和景深信息，检测驾驶员的手是否在方向盘上，具体包括：对所述驾驶员手部方向盘图像进行特征提取，得到所述驾驶员手部方向盘图像的特征信息和景深信息；根据所述驾驶员手部方向盘图像的特征信息，得到手部定位框和方向盘定位框的位置关系；根据所述驾驶员手部方向盘图像的景深信息，得到手部和方向盘的相对景深数据；根据所述手部定位框和方向盘定位框的位置关系和所述手部和方向盘的相对景深数据，确定驾驶员的手是否在方向盘上。5.根据权利要求4所述的基于视觉的驾驶员脱手检测方法，其特征在于，所述根据所述驾驶员手部方向盘图像的特征信息，得到手部定位框和方向盘定位框的位置关系，具体包括：根据所述驾驶员手部方向盘图像的特征信息，计算手部特征的box属性和方向盘特征的box属性；计算所述手部特征的box属性和所述方向盘特征的box属性的iou值；将所述iou值作为所述手部定位框和方向盘定位框的位置关系。6.根据权利要求5所述的基于视觉的驾驶员脱手检测方法，其特征在于，所述根据所述驾驶员手部方向盘图像的景深信息，得到手部和方向盘的相对景深数据，具体包括：根据所述驾驶员手部方向盘图像的景深信息，计算手部特征的景深a和方向盘特征的景深b；计算手部特征的景深a和方向盘特征的景深b的比值，得到景深比值；将所述景深比值作为所述手部和方向盘的相对景深数据。7.根据权利要求6所述的基于视觉的驾驶员脱手检测方法，其特征在于，所述根据所述手部定位框和方向盘定位框的位置关系和所述手部和方向盘的相对景深数据，确定驾驶员的手是否在方向盘上，具体包括：若所述iou值大于预设iou阈值，且景深比值介于最低景深比阈值和最高景深比阈值之间，则确定驾驶员的手是否在方向盘上；
若所述iou值小于等于预设iou阈值，或景深比值小于等于最低景深比阈值，或景深比值大于等于最高景深比阈值，则确定驾驶员的手不在方向盘上。8.根据权利要求1所述的基于视觉的驾驶员脱手检测方法，其特征在于，所述根据驾驶员的手部是否在方向盘上的检测结果和车辆方向盘状态信息，得到驾驶员脱手状态，具体包括：根据驾驶员的手部是否在方向盘上的检测结果、方向盘转角状态信息和方向盘手力矩信息，得到驾驶员脱手状态。9.根据权利要求1所述的基于视觉的驾驶员脱手检测方法，其特征在于，所述根据驾驶员的手部是否在方向盘上的检测结果、方向盘转角状态信息和方向盘手力矩信息，得到驾驶员脱手状态，具体包括：若检测到驾驶员的手在方向盘上，且在路况稳定的情况下，方向盘转角变化低于预设转角阈值，且方向盘手力矩大于预设手力矩阈值，则驾驶员未脱手；若检测到驾驶员的手不在方向盘上，或在路况稳定的情况下，方向盘转角变化大于等于预设转角阈值，或方向盘手力矩小于等于预设手力矩阈值，则驾驶员脱手。10.一种基于视觉的驾驶员脱手检测系统，其特征在于，包括：手部方向盘图像采集模块，用于采集驾驶员手部方向盘图像，其中，所述驾驶员手部方向盘图像包括驾驶员手部图像和方向盘图像；手部位置检测模块，用于基于驾驶员手部方向盘图像的特征信息和景深信息，检测驾驶员的手是否在方向盘上；脱手状态检测模块，用于根据驾驶员的手部是否在方向盘上的检测结果和车辆方向盘状态信息，得到驾驶员脱手状态。

技术总结
本发明公开了一种基于视觉的驾驶员脱手检测方法及系统，包括：采集驾驶员手部方向盘图像；基于驾驶员手部方向盘图像的特征信息和景深信息，检测驾驶员的手是否在方向盘上；根据驾驶员的手部是否在方向盘上的检测结果和车辆方向盘状态信息，得到驾驶员脱手状态。本发明的基于视觉的驾驶员脱手检测方法及系统，基于视觉方案同步融合间接测量进行驾驶员脱手检测，通过采集图像，辅助车辆状态监测数据综合分析，可以准确判断驾驶员脱手的状态，提升汽车智能化水平和安全性能，与电容式方向盘的驾驶员脱手监测方案相比，有效降低了系统成本；基于驾驶员手部方向盘图像的特征信息和景深信息检测驾驶员的手是否在方向盘上，可以提升检测精度。升检测精度。升检测精度。


技术研发人员：李卫兵 高波 吴琼 时利
受保护的技术使用者：安徽江淮汽车集团股份有限公司
技术研发日：2021.12.10
技术公布日：2022/3/8