基于S3FD网络的一阶段安全帽检测方法与流程

基于s3fd网络的一阶段安全帽检测方法
技术领域
1.本发明属于目标检测技术领域，涉及一种基于s3fd网络的一阶段安全帽检测方法。


背景技术：

2.安全帽检测作为一种智能安防联动报警系统重要的组成部分，受到了人们的广泛关注。随着深度学习技术的不断成熟，目标检测技术也飞速发展。基于深度学习的算法具有自动提取特征、结构灵活、检测速度快、精度高的优点，利用深度学习技术的目标检测可以实现端到端的检测。按照目标检测的实现步骤可以将其大致分为两种类型：二阶段目标检测算法和一阶段目标检测算法。二阶段目标检测算法是指首先生成候选区域，产生一个包含待检测物体的预检框，再通过卷积神经网络进行分类。该类算法的流程可以总结为：(1)特征提取；(2)生成预选框；（3）分类和回归。经典的两阶段网络为：r-cnn、spp-net、fast r-cnn、faster r-cnn和r-fcn等。一阶段目标检测算法是指不生成候选区域，直接在网络中提取特征来预测物体分类和位置。其任务流程就是：（1）特征提取；（2）分类、定位与回归。对比来看，二阶段的检测精度高但是存在速度慢、时间成本高的缺点，而一阶段检测器精度虽然相较于二阶段来会稍微差一些，但是速度快，更有效率，所以选择一阶段检测还是二阶段检测取决于任务对于时间的要求更高一些还是速度的要求更高一些。虽然目标检测的精度已经大大提升，但是检测小目标还存在一些难题。主要原因就是简单冗余样本太少、有效特征少或是图像分辨率对检测精度的影响较大。
3.安全帽因为其体积小以及离镜头距离远，所以安全帽的检测属于小目标检测。小目标检测常用的思路就是提高图片的分辨率，增强图片的质量或者删减冗余样本。除此之外，因为检测小目标主要依靠于浅层检测，浅层的空间信息丰富但是语义特征较小，而深层特征的语义丰富，所以如果深浅层特征如果没有做到充分融合的话，会非常影响小目标检测。鉴于安全帽检测的未来应用是面向智能安防联动报警系统中的实时检测，所以对检测速度的要求高，所以我们采用一阶段的目标检测算法。
4.s3fd网络是在目标检测经典网络ssd的基础之上改进的，增加了背景筛选操作，改进了ssd中的样本框匹配策略。经过了这两点改进之后，相对于ssd网络，s3fd对于小目标的检测能力大大提升，并且也提高了复杂背景下的判别能力，具有速度快检测精度高的特点，可以极大速度的实现小目标的检测，符合我们对于安全帽检测的要求。


技术实现要素：

5.本发明的目的在于提供一种基于s3fd网络的一阶段安全帽检测方法，以解决上述背景技术中提到的安全帽检测困难的问题。
6.为了实现上述目的，本发明采取了如下技术方案：基于s3fd网络的一阶段安全帽检测方法，包括如下步骤：（1）利用s3fd网络通过对一张图片提取多层特征，形成尺度不同、分辨率不同的六
层特征图，以利于多尺度检测；使用以vgg16为骨干的s3fd网络进行特征提取，在vgg16中，从conv11到pool5卷积层被保留，其他层将被删除；将fc6和fc7从全连接层转换为卷积层以减少参数的数量，然后在它们后面添加四个额外的卷积层，称为额外层。所以生成的六层特征图分别命名为conv3_3, conv4_3, conv5_3, convfc7, conv6_2, conv7_2。该子网中特征图的大小逐渐变小，有利于安全帽的多尺度检测，其中过滤子网络筛选操作是需要指定一个阈值，阈值的大小通过实验确定，小于阈值的样本框会被全部删除。
7.（2）在这六层特征图之后接筛选层，对冗余的样本进行筛选，删除阈值小于规定的值。这是解决小目标检测中冗余样本多的问题。该层结构被称为过滤网络，主要功能就是删除多余的样本，减少训练的难度。
8.（3）六层特征图经过一个连接网络，该网络是将六层特征图做充分融合，将深层特征图中丰富的语义信息补充到浅层特征中。
9.（4）将步骤s130充分融合后的特征图以及从步骤s120保留下的样本进行损失函数的计算。
10.损失函数的一般表达式为： n
cls
表示的是正样本的数量，l
reg
和l
cls
分别代表的是分类损失函数和回归损失函数。整个式子表示的是误差的平方和，而训练的目的就是最小化这个目标函数值（注：该式子未加入正则项），也就是最小化残差的平方和。
11.进一步地，还提供一种特征补偿模块，所述的补偿模块由上采样、加和、减法三个操作组成，两个输入分别来自当前层和前一层的特征。由于特征补偿模块使用卷积运算，可用的特征或多或少丢失。为了充分利用现有的特性，该模块的任务是将当前层与前一层相比损失的特征进行补偿到当前层。
12.优选地，所述过滤子网络中阈值可选0.01,0.05,0.1。
13.优选地，所述特征补偿模块涉及到的上采样层的卷积核大小为3
×
3，步幅为2。
14.工作原理：首先，对当前的特征进行上采样调整大小，使之与前一层的特征图大小相同，然后对当前特征图进行减法运算，得到的特征被认为是卷积造成的丢失特征。然后，通过求和运算将丢失的特征补偿到当前特征，称为特征补偿。最后，通过池化操作将补偿特征的大小和通道变回输入特征相同的大小。我们在过滤子网中经过conv3_3、conv4_3和conv5_3之后，采用这个模块来补偿提取过程中特征的损失，最大限度地利用已有的特征。
15.本发明的有益效果：本发明基于s3fd网络的一阶段安全帽检测方法对输入的完整图像进行逐步特征提取，将s3fd特征变成了一个多步骤的网络。第一步是利用s3fd提取特征，然后设置阈值对置信度小于阈值的样本框进行筛选，如果小于阈值就说明是冗余框，对训练进程没有意义，将会被删除，如果大于阈值将会被保留下来，进行后续的训练。第二步是利用连接网络对深浅层特征进行充分融合，将富含语义信息的深层特征补充到浅层特征中，有利于安全帽检测。第三步就是将经过筛选的预测框和充分融合后的特征进行精准的分类回归判断，判断预测框是否为安全帽，并预测安全帽的位置。除此之外，本文提供了特征补偿模块，弥补特征的损失。
附图说明
16.图1为本发明实施例基于s3fd网络的一阶段安全帽检测流程框架示意图。
17.图2为本发明实施例基于s3fd网络的一阶段安全帽检测的原理框图。
18.图3为本发明实施例特征补偿模块图。
具体实施方式
19.下面结合附图和实施例描述本发明的实施方式。
20.实施例：基于s3fd网络的一阶段安全帽检测方法，包括如下步骤：（1）首先通过s3fd提取特征图，形成特征金字塔；（2）设置阈值，对置信度小于阈值的预测框进行筛选，将冗余不利于训练的样本删除，网络命名为过滤网络；（3）将经过过滤网络的特征送入连接网络，使深层浅层特征进一步充分融合；（4）对s130步骤输出的特征和s120筛选留下的样本，送入精确分类子网络，实现进一步的分类和回归，进一步判断和确认安全帽的类别和位置；误差操作是在卷积神经网络训练时，损失函数的运算过程，即对最后的与网络的输入图进行误差处理，通过反向传播使得此误差值达到最小，从而达到最佳的训练。
21.损失函数的一般表达式为：n
cls
表示的是正样本的数量，l
reg
和l
cls
分别代表的是分类损失函数和回归损失函数。整个式子表示的是误差的平方和，而训练的目的就是最小化这个目标函数值（注：该式子未加入正则项），也就是最小化残差的平方和。
22.在步骤（1）中，使用到的是s3fd作为基础网络进行提取，我们使用以vgg16为骨干的s3fd网络进行特征提取。在vgg16中，从conv11到pool5卷积层被保留，其他层将被删除。除此之外，它将fc6和fc7从全连接层转换为卷积层以减少参数的数量，然后在它们后面添加四个额外的卷积层，称为额外层。该子网中特征图的大小逐渐变小，从而实现了多尺度检测。选取conv3_3, conv4_3, conv5_3, convfc7, conv6_2和conv7_2作为检测层。
23.在步骤（2）中，所述上采样层的层数最多为4层。每一个采样层的卷积核大小为4
×
4、步幅为2，最后一个所述特征提取层的卷积核大小为1
×
1，步幅为1。
24.在步骤（3）中，所述卷积神经网络包括六个卷积层，第一个卷积层使用大小为3
×
3的卷积核，生成大小为160
×
160特征图；第二个卷积层使用1
×
1的卷积核，生成大小为80
×
80特征图；第三个的特征图大小为40
×
40，第四个的特征图大小为20
×
20，第五个的特征图大小为10
×
10， 第四个的特征图大小为5
×
5。其中包含卷积核大小为4
×
4、步幅为2的采样层，调整特征图的大小。
25.对比试验：训练与测试过程实验在pytorch框架上进行，同样使用了包含32203 幅图像的数据集。为促进网络收敛，我们将训练集的图像的大小进行调整，得到640
×
640的图像进行训练。
26.其中15898幅图像被划分为训练集，3949幅图像被划分为验证集，其余图像被划分为测试集。大致对应于检测的难度，每个子集分为易、中、难三个部分。在容易的部分，大部
分的安全帽的尺寸都比较大，靠近相机，遮挡较少，光线充足。而在困难部分中，安全帽的尺度是微小的、遮挡的、密集的、模糊的。因此，在困难的数据集提高精度比在易的部分更难。我们选择验证子集进行消融实验，并在测试子集上与其他方法进行比较。
27.表1对比了本发明算法与经典方法在检测安全帽方面的比较，包括传统方法和深度学习方法。首先，将该检测器与传统的acf和ldcf+方法进行了比较。由于采用了深度学习技术，本文提出的检测方法比这两种方法性能要好得多。然后与cnn方法进行比较。为了验证我们的改进，我们和我们的基础网络进行了比较实验:s3fd。在简单、中等难度、困难试子集中，检测器的map比s3fd分别高出1.9、2.5、2.1。这证明了我们算法的有效性。tcnn和mscnn是已知的多尺度检测。由表1可以看出，这两种方法分别比我们提出的方法差9.9、11.3、26.3和3.0、3.5、5.2。我们的算法性能也比ssh高出2.0、2.3、1.7，因为ssh可能没有充分利用安全帽特征。以检测小尺度目标著称的hr，其map值为92.391.081.9，比我们的检测器低。更重要的是，otfd比两级网络cms-rcnn和face-rcnn的准确率分别高4.5、6.4、21.8和1.5、2.2、3.4。
28.为了更好地理解我们的检测器，我们进行了消融实验来验证提出的模块的有效性。所有消融实验的基础网络均为为s3fd。我们使用三种不同的设置来验证我们的方法。
[0029] （1）s3fd(并行):将s3fd改为并行结构。
[0030] （2）s3fd(特征补偿模块):本实验试验了特征补偿模块。
[0031]
（3)s3fd(并行+特征补偿模块):将s3fd改为并行结构，并增加特征补偿模块。通过s3fd(并行)与s3fd的比较，可以看出map可以增加0.5,1,0.1。性能增长的主要原因是在过滤网络中滤除冗余样本，使精确子网能够集中于安全帽相关样本。
[0032]
从s3fd(特征补偿模块)开始，特征补偿模块也是有效的。可以使检测器的ap分数达到94.1,93.2,85.7。该模块弥补了卷积过程中丢失的特特征，充分利用了现有的特征。对比表2中s3fd和s3fd(并行+特征补偿模块)可知，并行的网络和特征补偿模块使得整个检测器比分别加入它们更有效，可实现94.8、94.0、86.0的map。这种设置不仅可以删除多余的冗余样本，还可以充分利用现有的特征。与s3fd相比，该检测器在简单、中等、困难部分分别提高了map的1.1、1.6、0.8。通过实验，我们发现在容易和中等数据集中比在困难部分更容易实现map的增长。我们的检测器不仅具有抗干扰和删除冗余样本的能力，而且通过添加特征补偿模块，还具有充分利用已有特征的能力。
[0033]
表3讨论过滤器网中的阈值对算法影响。我们设置了四个阈值:0.05,0.1,0.15和0.2。其他设置保持不变。当阈值设为0.05时效果最差，主要是由于没有对冗余样本进行彻底的筛选。然而，当阈值设置为0.2时，map相对于0.15和0.1有所下降。主要原因是大量潜在的安全帽相关样本被过滤掉了。对于0.1和0.15,0.1的阈值是最优的，我们选择0.1作为过滤子网的阈值。
[0034]
图2所示：改进后的网络包括提出的过滤网络、连接网络、精确网络。
[0035]
图3所示：特征补偿模块主要由上采样模块组成，用于得到失去的特征。
[0036]
表1与不同网络的准确率比较
。
[0037]
表2消融实验结果。
[0038]
表3不同阈值的对比结果。

技术特征：
1.基于s3fd网络的一阶段安全帽检测方法，其特征在于包括如下步骤：（1）利用s3fd网络通过对一张图片提取多层特征，形成尺度不同、分辨率不同的六层特征图；使用以vgg16为骨干的s3fd网络进行特征提取，在vgg16中，从conv11到pool5卷积层被保留，其他层被删除；将fc6和fc7从全连接层转换为卷积层以减少参数的数量，然后在它们后面添加四个额外的卷积层；生成的六层特征图分别命名为conv3_3,conv4_3,conv5_3,convfc7,conv6_2,conv7_2；（2）在六层特征图之后接筛选层，对冗余的样本进行筛选，删除阈值小于规定的值；（3）六层特征图经过一个连接网络，该网络是将六层特征图做充分融合，将深层特征图中丰富的语义信息补充到浅层特征中；（4）将充分融合后的特征图以及从步骤（2）保留下的样本进行损失函数的计算；损失函数的一般表达式为：n
cls
表示的是正样本的数量，l
reg
和l
cls
分别代表的是分类损失函数和回归损失函数。2.根据权利要求1所述的基于s3fd网络的一阶段安全帽检测方法，其特征在于还提供一种特征补偿模块，所述的补偿模块由上采样、加和、减法三个操作组成，两个输入分别来自当前层和前一层的特征。3.根据权利要求1所述的基于s3fd网络的一阶段安全帽检测方法，其特征在于：所述过滤子网络中阈值可选0.01,0.05,0.1。4.根据权利要求1所述的基于s3fd网络的一阶段安全帽检测方法，其特征在于：所述特征补偿模块涉及到的上采样层的卷积核大小为3x3，步幅为2。

技术总结
基于S3FD网络的一阶段安全帽检测方法，在一阶段检测器S3FD的基础之上，将S3FD改变为包含过滤结构、连接结构、精确判断结构的网络。该网络可以过滤冗余的样本，对小目标检测有促进意义，可以在很大程度上提高对安全帽的检测能力。除此之外，我们提出了一个特征补偿模块，该模块可以减少在卷积操作过程中的特征损失。这对于解决小目标检测中有效特征少的问题有很大帮助，一定程度上提高检测安全帽的精确度。经过了我们的改进，模型的训练速度加快，训练效率和检测精度均有提升。效率和检测精度均有提升。效率和检测精度均有提升。


技术研发人员：佘宏彦 邓明华 梁理 吴赟 安长智 廖艳 曾敏 曾志豪 唐秋良
受保护的技术使用者：北京中泰创安科技有限公司
技术研发日：2021.11.26
技术公布日：2022/3/8