一种基于深度学习的实时交通荷载智能感知方法与流程

本发明涉及深度学习与计算机视觉，特别涉及一种基于深度学习的实时交通荷载智能感知方法。

背景技术：

1、现有的交通荷载感知应用中，普遍使用动态称重设备以及配套的卡口相机。动态称重系统是一种利用传感器测量车辆行驶过程中的轴重和总重的技术，卡口相机能够拍摄车辆图片，并根据其配置的传感器实现测速、识别车型等功能。

2、然而，动态称重系统只能在单个测量点进行车辆识别，不能对车辆的全程行驶轨迹进行跟踪和分析。而且，动态称重系统的数据传输和处理需要一定的时间延迟，不能实时反馈车辆的荷载信息，也不能及时预警道路的超载情况，从而降低了动态称重系统在交通管理和道路维护中的效率和效果。

技术实现思路

1、本发明所要解决的问题是：提供一种基于深度学习的实时交通荷载智能感知方法，通过联合桥面视频监控和动态称重信息，对通行的车辆信息进行识别、跟踪与匹配，获取车辆荷载的时空分布特征，客观和精确地反映交通荷载特性。

2、本发明采用如下技术方案：一种基于深度学习的实时交通荷载智能感知方法，包括如下步骤：

3、s1、获取车辆基础信息：通过构建基于深度学习的目标检测网络和细粒度分类网络，对桥面视频监控进行智能识别，获取视频监控中的车辆基础信息；

4、s2、进行荷载信息匹配：基于步骤s1获取的车辆基础信息，从动态称重系统中获取的车辆总重、轴重信息，匹配视频监控中的车辆基础信息与动态称重系统中的车辆信息；

5、判断车辆是否行驶通过动态称重设备：若车辆经过了动态称重设备，则从动态称重系统中获取车辆总重、轴重、轴距、轴数，将信息同步到数据库，并关联至车辆唯一标识；若车辆未经过动态称重设备，则根据车辆唯一标识在数据库中获取车重信息；

6、s3、进行车辆轨迹跟踪：对视频监控区域内车辆的轨迹实现全过程动态跟踪，包括单摄像头多目标车辆跟踪和跨摄像头车辆重识别，得到桥面车辆荷载时空分布，进行桥梁上通行车辆的全程跟踪。

7、具体地，所述车辆基础信息，包括：车型、车轴、载货情况、车辆所在车道，车辆位置坐标；获取车辆基础信息，包括如下子步骤：

8、s1.1、获取桥梁交通监控视频中的一帧图像；

9、s1.2、使用基于yolov5目标检测网络的车辆目标检测算法，识别图像中的车辆，并获取车辆的车型信息和图像坐标信息；所述车型信息包括：小型汽车、货车、中大型客车、非机动车；

10、s1.3、构建细粒度分类网络，对识别到的图像中的各车辆进行细粒度分类，获取各辆货车的车轴数、载货情况信息；

11、s1.4、基于lanenet对车道线进行像素级分割，并提取车道线方程，进行车道自动划分和编号；

12、s1.5、使用车道线位置信息和车辆目标检测得到的图像坐标信息，识别各车辆所在车道；

13、s1.6、将车辆在图像上的位置映射到已知长度的参照物上，所述参照物，包括道路标线、护栏，估算车辆相对于监控摄像头的相对位置；

14、s1.7、根据车辆相对位置和车道信息，结合监控摄像头所在的经纬度信息、车道宽度信息与车道朝向信息，计算车辆相对于摄像头的偏移距离和方向角，获得车辆在世界坐标系中的绝对位置。

15、具体地，步骤s3中，进行车辆轨迹跟踪，包括如下子步骤：

16、s3.1、基于deepsort算法实现车辆多目标动态跟踪；

17、s3.2、基于深度哈希网络生成车辆的哈希码特征，并使用哈希码在历史车辆哈希码数据库中检索该车辆，进行不同监控摄像头之间车辆的匹配；

18、s3.3、如历史车辆哈希码数据库中检索到车辆，则该车辆曾出现在桥面上其他监控摄像头的监视范围内，获取车辆的唯一标识，并更新车辆在数据库中的哈希码特征；

19、s3.4、如历史车辆哈希码数据库中未检索到车辆，则该车辆首次出现在桥面上，生成新的车辆唯一标识，并将唯一标识与步骤s3.2中获得的车辆的哈希码特征存放在历史车辆哈希码数据库中。

20、进一步地，步骤s3.1中，基于deepsort算法实现车辆多目标动态跟踪，方法如下：

21、s3.1.1、从步骤s1.2获取每个车辆的在图像中的位置、大小及类别，获取车辆目标检测结果；根据各车辆历史位置使用卡尔曼滤波器对当前位置进行预测，获取跟踪器预测结果。

22、s3.1.2、匹配跟踪器预测结果与检测结果，包括：特征匹配、级联匹配和iou匹配方法，匹配结果分别为匹配成功、跟踪结果未匹配、检测结果未匹配；

23、在特征匹配中，引入目标车辆运动信息和外观信息，提取目标车辆位置偏移，计算预测结果与检测结果之间的马氏距离，使用深度神经网络计算跟踪目标和检测目标的特征，计算预测结果与检测结果之间的余弦距离，对于马氏距离和余弦距离较大的匹配结果，判定为不匹配；

24、在级联匹配中，引入优先级信息，连续匹配成功的跟踪器的优先级较高，匹配失败次数越多，优先级越低，结合优先级信息，使用匈牙利算法进行匹配；

25、在iou匹配中，引入跟踪目标框与检测目标框之间的iou信息，对于iou小于预设阈值的匹配结果，判定为不匹配。

26、s3.1.3、根据匹配结果，更新每个目标车辆的追踪器状态；

27、所述跟踪器状态分别为：不确定态、确定态、删除态，跟踪器初始状态为不确定态，更新每个目标车辆的追踪器状态，方法如下：

28、如果匹配成功的次数大于阈值，跟踪器由不确定态转为确定态；如果先前为确定态的跟踪器，跟踪结果与检测结果匹配失败次数大于阈值，则跟踪器由确定态转为删除态；

29、对于匹配成功的情况，更新跟踪器的信息，如果匹配成功次数大于阈值，将跟踪器状态设为确定态；

30、对于跟踪结果未匹配的情况，记录匹配失败次数，如果匹配失败次数大于阈值，将跟踪器设为删除态；

31、对于检测结果未匹配的情况，新建跟踪器，并初始化为不确定态。

32、s3.1.4、更新车辆特征集，对于匹配成功的目标车辆，更新由深度神经网络计算得到的车辆特征，并存储跟踪结果。

33、进一步地，步骤s3.1.2中、匹配跟踪器预测结果与检测结果，

34、进一步地，步骤s3.2中、基于深度哈希网络生成车辆的哈希码特征，并使用哈希码在历史车辆哈希码数据库中检索该车辆，方法如下：

35、s3.2.1、将车辆图像从监控视频中的一帧图像中裁剪出来，使用深度哈希网络生成车辆的哈希码特征，哈希码的位数为256；

36、s3.2.2、使用哈希码在历史车辆哈希码数据库中检索该车辆，检索方法为，计算该车辆的哈希码特征与历史车辆哈希码数据库中存储的哈希码特征之间的汉明距离，获取最小且小于距离阈值的10个哈希码对应的车辆；

37、s3.2.3、若无法检索到10条哈希码，则未检索到车辆，若能够检索到至少10条哈希码，则使用投票算法获得车辆检索结果。

38、本发明技术方案还提供了：一种电子设备，包括：

39、一个或多个处理器；

40、存储装置，其上存储有一个或多个程序；

41、当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现上述任一所述的基于深度学习的实时交通荷载智能感知方法。

42、本发明技术方案还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时，实现上述任一项基于深度学习的实时交通荷载智能感知方法中的步骤。

43、本发明采用以上技术方案与现有技术相比，具有以下技术效果：

44、1、本发明实时交通荷载智能感知方法，使用基于yolov5的目标检测算法定位车辆在图像上的位置，并结合桥梁上车道、护栏等已知距离的物体，进行车道识别、距离估计，将车辆在图像上的位置转换为车辆在世界坐标系上的位置。

45、2、本发明实时交通荷载智能感知方法，使用深度哈希网络生成车辆的哈希码特征，并使用哈希码在数据库中检索该车辆，实现不同监控摄像头之间车辆的匹配，结合车辆目标跟踪，实现桥梁上通行车辆的全程跟踪。

46、3、本发明实时交通荷载智能感知方法，实现了车辆信息与荷载信息的匹配，能够在车辆信息识别和车辆全程跟踪的基础上，进一步获得车辆的车重、轴重、轴数等信息，能够实时监控全桥的荷载情况。

技术特征：

1.一种基于深度学习的实时交通荷载智能感知方法，其特征在于，包括如下步骤：

2.根据权利要求1所述的基于深度学习的实时交通荷载智能感知方法，其特征在于，所述车辆基础信息，包括：车型、车轴、载货情况、车辆所在车道，车辆位置坐标；获取车辆基础信息，包括如下子步骤：

3.根据权利要求2所述的基于深度学习的实时交通荷载智能感知方法，其特征在于，步骤s1.3中，对识别到的图像中的各车辆进行细粒度分类，方法如下：

4.根据权利要求1所述的基于深度学习的实时交通荷载智能感知方法，其特征在于，步骤s3中，进行车辆轨迹跟踪，包括如下子步骤：

5.根据权利要求4所述的基于深度学习的实时交通荷载智能感知方法，其特征在于，步骤s3.1中，基于deepsort算法实现车辆多目标动态跟踪，方法如下：

6.根据权利要求5所述的基于深度学习的实时交通荷载智能感知方法，其特征在于，步骤s3.1.2中、匹配跟踪器预测结果与检测结果，包括：特征匹配、级联匹配和iou匹配方法，

7.根据权利要求5所述的基于深度学习的实时交通荷载智能感知方法，其特征在于，步骤s3.1.3中、所述跟踪器状态分别为：不确定态、确定态、删除态，跟踪器初始状态为不确定态，更新每个目标车辆的追踪器状态，方法如下：

8.根据权利要求4所述的基于深度学习的实时交通荷载智能感知方法，其特征在于，步骤s3.2中、基于深度哈希网络生成车辆的哈希码特征，并使用哈希码在历史车辆哈希码数据库中检索该车辆，方法如下：

9.一种电子设备，其特征在于，包括：

10.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该程序被处理器执行时，实现权利要求1至8中任一项所述的基于深度学习的实时交通荷载智能感知方法中的步骤。

技术总结
本发明公开了一种基于深度学习的实时交通荷载智能感知方法，首先通过构建基于深度学习的目标检测网络和细粒度分类网络，获取视频监控中的车辆基础信息；然后进行荷载信息匹配，从动态称重系统中获取车辆总重、轴重信息，匹配视频监控中的车辆基础信息与动态称重系统中的车辆信息；若车辆经过动态称重设备，从动态称重系统中获取车辆总重、轴重、轴距、轴数，将信息同步到数据库，并关联至车辆唯一标识；若车辆未经过动态称重设备，根据车辆唯一标识在数据库中获取车重信息；最后对视频监控区域内车辆的轨迹实现全过程动态跟踪，得到桥面车辆荷载时空分布，实时监控全桥的荷载情况，进行桥梁上通行车辆的全程跟踪。

技术研发人员：侯士通,戴姣,吴栋,何磊
受保护的技术使用者：江苏东印智慧工程技术研究院有限公司
技术研发日：
技术公布日：2024/12/5