一种基于多组卷积融合的电力作业人员检测方法与流程

1.本发明涉及电力作业违章检测技术领域，具体涉及一种基于多组卷积融合的电力作业人员检测方法及存储介质。


背景技术：

2.电力带电作业场所多存在于高危、高压等生产环境，现场设备众多，内部结构复杂，很容易发生安全事故。为了保证电力作业施工人员的操作安全，电力行业规定了作业实施全过程需要一名负责人(穿马甲的工作人员)在场指导工作，同时监督部门需要对作业人员、作业过程进行实时监管，尤其是负责人的在场情况。其中，负责人检测就是有效保证电力作业高效、安全进行的一项基本工作，通常由无人机或者现场图像采集设备传输现场照片，采用人工判读的方式进行违规检查。但这种检测方法不但浪费大量劳动力，还常常由于监管人员疲劳、态度散漫等个人原因而出现监管不力的情况。
3.随着深度学习的提出和快速发展，其在电力作业检测中也得到了广泛的应用，利用目标检测算法对传回的图像进行实时违规检测可极大地提高监管人员的工作效率。业界处理电力作业负责人检测的方法有两种技术思路：第一种，是基于候选区域的深度学习目标检测算法，常用的有faster-rcnn网络。faster-rcnn是一种候选区域和卷积神经网络相结合的目标检测算法，检测精度较高，但处理速度不够理想。第二种，是基于回归的深度学习目标检测算法，常用的有yolo算法。yolo是将目标检测任务看作回归问题，提高了目标检测速度。然而，yolo没有使用候选区域机制，仅仅使用7*7的网络进行目标边框回归，结果目标定位准确度不高，从而导致检测结果精度不高。
4.虽然上述两种方法在电力作业检测中得到了广泛使用，但是目前的模型不能兼顾高精度和实时处理。
5.因此，如何提供一种可以精准、快速地对电力作业人员进行检测的基于多组卷积融合的人员检测方法是本领域技术人员亟需解决的问题。


技术实现要素：

6.有鉴于此，本发明提供了一种基于多组卷积融合的电力作业人员检测方法，通过目标检测算法对电力作业负责人进行精准、快速的检测，大大提高监管人员的工作效率。
7.为了实现上述目的，本发明采用如下技术方案：
8.一种基于多组卷积融合的电力作业人员检测方法，包括
9.获取电力作业场景的监控图片，电力作业人员图像区域位于监控图片中；
10.在特征提取网络中添加n组平行卷积融合模块，n组平行卷积融合模块同时对监控图片进行特征提取，得到n张特征图，并对n张特征图进行语义信息融合，得到融合特征图；
11.将融合特征图输入回归预测模块进行电力作业人员位置信息检测。
12.优选的，所述多组平行卷积融合模块包括三个平行卷积核：d*d的方形卷积，1*d和d*1的非对称卷积；
13.将d*1和1*d的非对称卷积扩展到d*d的尺寸；
14.将三个d*d卷积进行元素级加法得到一个等价的方形卷积。
15.优选的，对n张特征图进行语义信息融合的步骤包括：
16.根据三张特征图尺寸大小，由大至小依次确定为低层次特征图、中层次特征图和高层次特征图；
17.利用横向连接的自顶向下的fpn结构，随后通过自底向上的panet结构，使得特征图融合从低层次至高层次的语义特征信息。
18.优选的，回归预测模块执行步骤如下:
19.在分类分支，通过分类器对特征提取网络生成的所有候选框的进行分类判断，检测候选框中电力作业人员的置信度；
20.在回归分支，使用融合特征图，然后缩放输入到全连接层，回归得到最终的电力作业人员坐标位置。
21.优选的，还包括对目标检测模型的训练过程：
22.获取监控图片，对监控图片中的电力作业人员区域进行标注，得到人员位置信息标注的原始图像；
23.所述多组平行卷积融合模块包括三个平行卷积核：d*d的方形卷积，1*d和d*1的非对称卷积，通过三路卷积融合模块的平行特征提取，对三路输出进行元素级加法；
24.利用原始图像训练具有多组平行卷积融合模块的特征提取网络；
25.模型训练过程中，损失函数采用giouloss，得到训练完成的目标检测模型。
26.优选的，在目标检测模型的训练过程包括：对监控图片中的电力作业人员区域进行标注后，进行图像增强预处理操作，包括：马赛克增强、噪声处理、几何变化操作。
27.本发明还提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现上述的电力作业人员检测方法的步骤。
28.经由上述的技术方案可知，与现有技术相比，本发明的有益效果包括：
29.本发明为了加强该特征提取能力，在基于回归的深度学习算法中引入了多组卷积融合模块。多组卷积融合是一种增强特征表达的方法，本发明设计了多个平行卷积操作，包括d*d方形卷积，1*d和d*1非对称卷积进行特征提取，利用该多组卷积融合模块可以在不影响推理速度的情况下提高模型的检测精度。因此，基于多组卷积融合的电力作业负责人的检测方法可以增强目标的特征表达以及模型的鲁棒性，实现以较高的精度达到实时处理的效果，提高检测性能，可以极大的保证电力作业的操作安全。
附图说明
30.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图；
31.图1为本发明实施例提供的一种基于多组卷积融合的电力作业人员检测方法应用于其中的示例性系统架构图；
32.图2是本发明实施例提供的一种基于多组卷积融合的负责人检测方法的流程示意
图；
33.图3是本发明在训练阶段的多组卷积融合操作示意图；
34.图4是本发明在推理阶段的多组卷积融合操作示意图；
35.图5是本发明目标检测模型的训练流程示意图；
36.图6是本发明目标检测模型的检测结果示意图。
具体实施方式
37.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
38.本实施例公开的一种基于多组卷积融合的电力作业人员检测方法，基于深度学习技术开发。但是，基于目前的深度学习技术建模存在以下技术问题：
39.由于该技术是以数据基础为驱动，因此不可避免地需要大量的训练数据，而图像搜集需要耗费大量人力物力。此外，模型的训练不仅需要高性能的机器，而且训练时间相对较长。
40.现有模型需要保证检测效率和实时性，在模型设计上要尽可能轻量化，因此模型的精度会存在一定的损失。
41.对于物体遮挡情况难以处理，由于电力作业现场场景复杂、人员众多，经常会存在物体间重叠遮挡的现象，对于被遮挡的负责人，预训练好的网络模型很难完整地捕捉到负责人的特征并检测出负责人。
42.本实施例使用一阶段目标检测算法+多组卷积融合的方法来进行电力作业负责人的检测，通过cspdarknet53+多组卷积融合模块提取图像的特征。该发明有效解决了直接采用原始yolov5模型对负责人检测检测精度不足的问题，有效提升了电力作业负责人检测的识别精度。
43.在架构方面，整个系统结构采用如附图1所示的分层设计，包括算法层、数据层以及硬件层。在硬件方面，通过高性能的服务器对模型进行训练得到最终的基于多组卷积融合的电力作业人员检测模型，主要针对电力作业现场指导监督作业的特定人员(穿着特定服饰的负责人，如醒目颜色的马甲)，在数据层对传来的图像信息进行预处理，最重要的算法层采用所述的目标检测模型对视频流进行分析处理。将所述模型部署到设备中可对实时视频流进行负责人的识别。
44.模型设计方面，以基于回归的深度学习检测算法yolov5为基础，设计了多组卷积融合模块增加模型的鲁棒性，通过方形卷积+非对称卷积获取更强的特征表达。这种平行的卷积设计在训练阶段可以学习到更为丰富的目标特征，在推理阶段还可转化为单一方形卷积，不影响模型的推理速度。
45.模型训练方面，由于目前没有针对电力作业负责人的开源数据集，所以首先需要准备数据及标注。首先，收集电力作业负责人图像，对图像进行人工标注，使用图像采集设备拍摄的原始图像和负责人位置标注文件对模型进行训练。为避免模型的过拟合现象，在训练过程中会进行数据预处理操作，所述预处理操作包括：马赛克增强、噪声处理、几何变
化等图像增强操作。
46.模型检测方面，在获得上述负责人检测模型后，检测视频流中是否存在目标特征，若所述图像中存在目标特征，则计算所述目标特征在所述图像中的位置信息，若所述图像中存在多个特征，则依次计算多个目标特征在所述图像中的位置信息并进行可视化输出，若所述图像中不存在目标特征，则输出违规提示信息。
47.本实施例的具体执行过程包括：
48.(1)数据集构建
49.在模型的训练阶段，需要首先构建数据集，以对目标检测模型的检测性能进行优化训练。由于目前并没有针对电力作业负责人检测的开源数据集，因此在模型训练前首先要准备数据集的构建。首先，收集电力作业负责人的图像，在过滤掉重复、模糊、低质量的照片后，对剩余图像进行人工标注，根据负责人位置坐标进行标注，得到对应的电力作业负责人检测的数据集。在模型训练阶段，会进行一系列图像预处理操作，包括马赛克增强、噪声处理、几何变化等图像增强操作。
50.在一个实施例中，步骤(1)中的人员检测数据集构建的具体实施如下：
51.由于当前无法获得大量的电力作业现场图片，因此搜集了部分现场的拍摄视频。
52.1)通过python脚本批量获取视频中的图片，在过滤掉大量模糊、低质量、重复的照片后，得到原始的数据集图像。
53.2)通过数据集标注软件labelme辅助进行位置信息标注工作，得到负责人位置信息标注文件，与1)中的数据集原始图像一并构成负责人检测数据集。
54.利用构建的数据集进行目标检测模型训练的具体实施方式如下，如图5所示：
55.s11、对负责人图像进行标注：提取摄像机的历史监控视频，采集4000张带有负责人的图像，利用标记工具对每张图片中的负责人区域中矩形框进行标定，并标记出矩形框的中心坐标、长宽以及目标类型为负责人，得到上述步骤(1)中的训练数据集；
56.s12、用标记好的数据训练神经网络，在训练阶段进行一系列图像预处理操作，包括马赛克增强、噪声处理、几何变化等图像增强操作。
57.s13、根据原始图片大小与输入到网络图片大小计算缩放比例，计算黑边填充数值，进行自适应图片缩放。此外，在特征提取阶段加入多组卷积融合模块增强目标特征表达，从而得到步骤(2)中的人员检测模型。
58.s14、模型训练过程中，损失函数采用giouloss,损失l
giou
具体计算公式如下：
59.l
giou
＝1
–
giou
[0060][0061]
其中，a表示真实标记框，b表示预测框，c为包含a、b的最小框。
[0062]
(2)特征提取
[0063]
在模型设计上，检测方法采用单阶段的yolov5网络模型，首先输入电力负责人原始图像，使用特征提取网络cspdarknet53+多组卷积融合模块获得图像的特征图，这些特征图将用于后续步骤(3)中的特征融合阶段。
[0064]
在上述特征提取网络中添加多组卷积融合模块，多组卷积融合模块采用三个平行的卷积，分别为d*d的方形卷积，1*d和d*1的非对称卷积。利用卷积的相加性，具体公式如
下：
[0065][0066]
其中，i为特征图，k
(1)
，k
(2)
，k
(3)
分别是三个大小相兼容的平行卷积核，表示元素级加法操作。
[0067]
用三个平行卷积核同时对特征图或原始图像进行特征提取，从而增强目标的特征表达以及模型的鲁棒性。
[0068]
三个平行卷积需要满足一定的兼容性，可以把较小的卷积核填充为较大的卷积核。形式上，如果下面公式成立，这种转换是可行的，例如，3
×
1和1
×
3和3
×
3卷积是相容的
[0069]m(p)
＝m
(q)
,h
p
≤hq,
[0070]wp
≤wq,d
p
＝dq[0071]
其中，p,q分别为两个大小相兼容的卷积核的编号，h，w分别对应卷积核的高和宽，m表示卷积核的通道数，d表示步长。
[0072]
在一个实施例中，步骤(2)中多组卷积融合操作如图3、4所示，具体实施如下：
[0073]
s21、在训练阶段，将模型的卷积操作替换为3个平行的卷积，分别为d*d的方形卷积，d*1以及1*d的非对称卷积。通过三路平行特征提取，对三路输出进行元素级加法，可进一步增强图像特征。
[0074]
s22、在推理阶段，将模型的卷积操作替换为单个方形d*d卷积，首先将d*1和1*d的非对称卷积扩展到d*d的尺寸，随后将三个d*d卷积进行元素级加法得到一个等价的方形卷积。因此在推理阶段，网络结构和普通网络保持一致，而网络参数采用了特征提取能力更强的参数即融合后的卷积核参数，因此在推理过程中不会增加计算量。
[0075]
(3)特征融合
[0076]
图片通过步骤(2)中的特征提取网络，输出小、中、大3个尺寸的特征图，对应的感受野为大、中、小，即在该尺寸特征图能检测到的目标大小，较低层次特征图尺寸较大，可以捕捉局部细节，适用于检测小目标；高层次特征图尺寸较小，聚合了全局信息，适用于检测大目标。如附图4所示，利用横向连接的自顶向下的fpn结构，随后通过自底向上的panet结构，使得特征图融合从低至高的语义特征信息。
[0077]
(4)回归预测
[0078]
最后，将上述(3)中的融合特征图输入到回归预测模块进行负责人检测，得到预测的边界框与预设锚框的偏移值，从而得到最终的负责人检测位置信息，并进行可视化输出。
[0079]
在一个实施例中，步骤(4)中的回归预测模块实施如下:
[0080]
s41、在分类分支，通过softmax分类器对所有候选框的进行分类判断，检测候选框中负责人的置信度。
[0081]
s42、在回归分支，使用上述步骤(3)中的特征融合后的特征图，然后缩放输入到一系列的全连接层，回归得到最终的坐标位置。
[0082]
s43、过滤分支，为去掉较多重复性较高的预测框，最后将对回归得到的预测框会进行非极大值抑制处理，得到最终的目标信息，并进行可视化输出。如图6所示。
[0083]
在一个实施例中，步骤(4)中的负责人检测的具体实施方式如下：
[0084]
s51、首先，针对电力作业负责人检测数据集，获得初始设定长宽的锚框，在网络训
练中，网络在初始锚框的基础上输出预测框，进而和真实框ground truth进行比对，计算两者差距，再反向更新，迭代网络参数获得自适应锚框。
[0085]
s52、通过特征提取网络cspdarknet53以及fpn+panet结构获得加强的特征图，若检测出图像中存在目标特征，则说明图像所在位置存在负责人，结合特征图信息，对预设的锚框进行微调，随后通过非极大值抑制模块改进锚框输出，最后进行可视化输出。
[0086]
s53、若所述图像中不存在目标特征，则输出报警提示。
[0087]
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的方法以外，完全可以通过将方法步骤进行逻辑编程来使得本发明通过专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的计算机存储介质对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
[0088]
图6是本发明的检测结果可视化样例。本发明能够有效保证模型在实时处理的条件下达到较高的精度，相比单阶段的经典目标检测算法有效提高了负责人检测精度。
[0089]
本发明科学性解决了电力作业过程中的安全作业的监管问题，相对于传统的人工监管的方式，本发明采用人工智能的技术，以更加智能、高效的方式解决了负责人检测问题。此外，本发明的模型部分采用一阶段目标检测算法以及多组卷积融合技术，检测精度map可以达到95.8％，速度上可以达到实时检测的效果，提高了检测的自动化水平。
[0090]
以上对本发明所提供的基于多组卷积融合的电力作业人员检测方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本发明的限制。
[0091]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

技术特征：
1.一种基于多组卷积融合的电力作业人员检测方法，其特征在于，包括获取电力作业场景的监控图片，电力作业人员图像区域位于监控图片中；在特征提取网络中添加n组平行卷积融合模块，n组平行卷积融合模块同时对监控图片进行特征提取，得到n张特征图，并对n张特征图进行语义信息融合，得到融合特征图；将融合特征图输入回归预测模块进行电力作业人员位置信息检测。2.根据权利要求1所述的基于多组卷积融合的电力作业人员检测方法，其特征在于，所述多组平行卷积融合模块包括三个平行卷积核：d*d的方形卷积，1*d和d*1的非对称卷积；将d*1和1*d的非对称卷积扩展到d*d的尺寸；将三个d*d卷积进行元素级加法得到一个等价的方形卷积。3.根据权利要求2所述的基于多组卷积融合的电力作业人员检测方法，其特征在于，对n张特征图进行语义信息融合的步骤包括：根据三张特征图尺寸大小，由大至小依次确定为低层次特征图、中层次特征图和高层次特征图；利用横向连接的自顶向下的fpn结构，随后通过自底向上的panet结构，使得特征图融合从低层次至高层次的语义特征信息。4.根据权利要求1所述的基于多组卷积融合的电力作业人员检测方法，其特征在于，回归预测模块执行步骤如下:在分类分支，通过分类器对特征提取网络生成的所有候选框的进行分类判断，检测候选框中电力作业人员的置信度；在回归分支，使用融合特征图，然后缩放输入到全连接层，回归得到最终的电力作业人员坐标位置。5.根据权利要求1所述的基于多组卷积融合的电力作业人员检测方法，其特征在于，还包括对目标检测模型的训练过程：获取监控图片，对监控图片中的电力作业人员区域进行标注，得到人员位置信息标注的原始图像；所述多组平行卷积融合模块包括三个平行卷积核：d*d的方形卷积，1*d和d*1的非对称卷积，通过三路卷积融合模块的平行特征提取，对三路输出进行元素级加法；利用原始图像训练具有多组平行卷积融合模块的特征提取网络；模型训练过程中，损失函数采用giou loss，得到训练完成的目标检测模型。6.根据权利要求5所述的基于多组卷积融合的电力作业人员检测方法，其特征在于，在目标检测模型的训练过程包括：对监控图片中的电力作业人员区域进行标注后，进行图像增强预处理操作，包括：马赛克增强、噪声处理、几何变化操作。7.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1-6中任一项所述的电力作业人员检测方法的步骤。

技术总结
本发明提供了一种基于多组卷积融合的电力作业人员检测方法，包括获取电力作业场景的监控图片，电力作业人员图像区域位于监控图片中；在特征提取网络中添加N组平行卷积融合模块，N组平行卷积融合模块同时对监控图片进行特征提取，得到N张特征图，并对N张特征图进行语义信息融合，得到融合特征图；将融合特征图输入回归预测模块进行电力作业人员位置信息检测。本发明基于多组卷积融合的电力作业负责人的检测方法可以增强目标的特征表达以及模型的鲁棒性，实现以较高的精度达到实时处理的效果，提高检测性能，可以极大的保证电力作业的操作安全。的操作安全。的操作安全。


技术研发人员：张立中 周怡 刘思尧 吴宗后 郭安乐 赵中英 李斌 吴双 王圣杰 王宁国
受保护的技术使用者：国网宁夏电力有限公司
技术研发日：2021.11.29
技术公布日：2022/3/8