基于改进YOLOv3的SAR图像目标检测方法

基于改进yolov3的sar图像目标检测方法
技术领域
1.本发明涉及一种基于改进yolov3的sar图像目标检测方法，属于雷达目标检测技术领域。


背景技术：

2.雷达图像目标检测是近年来众多学者研究关注的领域，根据有无候选框生成的阶段，目前基于深度学习的主流目标检测算法主要有单阶段和两阶段两类。单阶段的目标检测算法与两阶段的目标检测算法相比检测速度更快，但检测精度相对较低。近来，随着一些改进方案的加入，其检测精度已经可适应场景的需求甚至超越两阶段模型。
3.yolo系列算法是目前单阶段检测模型的代表，仅通过端到端的训练即可完成模型的构建。因yolo的实时性优点，已逐渐成为雷达图像目标检测领域的研究重点。而目前较前沿的yolo系列算法——yolov5和yolov4采用的方法较多且复杂，它们的部分组件并不能起到改善sar图像检测效果的作用，同时yolov5和yolov4是在yolov3上引入普适性方法而来的算法。因此本发明对更基础的yolov3算法进行改进，并将其应用于sar图像目标检测中。
4.sar图像船舰检测难点在于不同分辨率下，海岸边的信息和舰船信息具有一定的相似性，所以单单靠后处理和数据增强的方式无法提升sar图像的检测性能，因此需提高特征的表达程度以提取更多有用信息。sar场景下的图像为简单的灰度图，其信息较简单，使用过于复杂的结构反而会导致学习到的舰船特征更加混乱。因此本发明改进yolov3算法并引入并行辅助模块来增强主干网络的舰船特征提取能力，以达提升sar图像检测性能的目的。


技术实现要素：

5.本发明的目的在于针对现有sar图像识别方法在舰船靠岸的场景下，存在特征泛化能力差、舰船识别率低、海岸和舰船特征学习不足导致无法有效区分海岸边信息和目标信息的技术缺陷，提出了一种基于改进yolov3的sar图像目标检测方法，该方法能获取sar图像中目标的浅层和深层特征。
6.为了达到上述目的，本发明采取如下技术方案。
7.所述sar图像目标检测方法，包括如下步骤：
8.步骤1：传感器采集hh、hv、vv和vh四种极化方式下的sar图像；
9.步骤2：对获得的sar图像数据进行预处理，得到预处理后sar图像数据；
10.其中，所述sar图像数据预处理包括sar图像去噪以及数据增强；
11.步骤3：对步骤2得到的预处理后sar图像数据进行人工标注，得到sar图像数据集，再将该数据集划分为训练数据集和测试数据集；
12.步骤4：建立改进yolov3模型；
13.其中，改进yolov3模型包括改进主干网络、改进瓶颈层以及构建深层网络的特征融合结构；
14.所述改进主干网络具体为：在yolov3的主干网络darknet53后增加spp结构；
15.所述改进瓶颈层是指对原有yolov3的fpn层进行简化后得到fpn-light结构；
16.所述构建深层网络的特征融合结构是指选取resnet50的n1模块和n2模块作为并行辅助结构，并将其与主干网络darknet53进行融合得到深层网络的特征融合结构；
17.其中深层网络的特征融合结构的具体描述为：将主干网络darknet53的残差模块c2的输出特征输入到辅助网络n1和主干网络darknet53的残差模块c3中；辅助网络n1的输出特征输出到辅助网络n2中，同时对辅助网络n1的输出特征进行上采样，对辅助网络n1输出的特征上采样后与主干网络darknet53的残差模块c3的输出特征按累加形式融合后输入到主干网络darknet53的残差模块c4中；对辅助网络n2的输出特征进行上采样，然后再与主干网络darknet53中的残差模块c4的输出特征按累加形式融合后输入到主干网络darknet53的残差模块c5中；主干网络darknet53的残差模块c5的输出特征则依然送入spp层和fpn-light瓶颈层；
18.步骤5：将步骤3得到的训练数据集输入步骤4改进的yolov3模型中进行训练，得到训练好的改进yolov3模型；
19.步骤6：将步骤3的测试数据集输入步骤5训练好的改进yolov3模型进行测试验证，得到识别结果；
20.至此，从步骤1到步骤6，实现了一种基于改进yolov3的sar图像目标检测方法。
21.有益效果
22.本发明提出的一种基于改进yolov3的sar图像目标检测方法，具有如下有益效果：
23.1、所述方法应用在海岸边场景的识别舰船时，可有效地提取到海岸边和舰船的特征并能区分出海岸边和舰船信息，对海岸边舰船有较好的识别率；
24.2、所述方法可较为准确地识别出sar图像中的小型、中型和大型舰船，与现有算法相比性能更优越，对舰船有更高的识别率，提升了对海探测目标识别效率。
附图说明
25.图1是本发明一种基于改进yolov3的sar图像目标检测方法的流程图；
26.图2是本发明一种基于改进yolov3的sar图像目标检测方法的算法瓶颈层fpn-light的结构图；
27.图3是本发明一种基于改进yolov3的sar图像目标检测方法的算法深层网络特征融合结构图；
28.图4是实施例中对sar图像数据进行数据预处理——图像去噪后的效果图；
29.图5是实施例中对sar图像数据进行数据预处理——填鸭式数据增强后的效果图；
30.图6是实施例中运用一种基于改进yolov3的sar图像目标检测方法识别海岸边舰船的结果和运用darkenet-yolov3识别海岸边舰船的结果对比图；
31.图7是实施例2中一种基于改进yolov3的sar图像目标检测平台的示意图。
具体实施方式
32.下面结合附图及具体实施例对本发明所述的一种基于改进yolov3的sar图像目标检测方法进行详细阐述。
33.实施例1
34.在sar图像的舰船识别中，若采用本发明提出的基于改进yolov3的算法，可较好地学习到sar图像中舰船的浅层和深层特征以达更高的sar图像识别性能。结合附图1基于改进yolov3的sar图像目标检测方法的流程图，本实施例阐述如何实施。
35.本实例实施的平台为ubuntu18.04系统，gpu为k80显卡且内存为12g，显卡驱动型号为396.82的服务器，实验环境配置了cuda10.1，python3.7.0以及torch1.4.0。
36.步骤1：传感器采集hh、hv、vv和vh四种极化方式下的sar图像；
37.步骤2：对获得的sar图像数据进行预处理，得到预处理后sar图像数据；
38.其中，所述sar图像数据预处理包括sar图像去噪以及数据增强；
39.步骤3：对步骤2得到的预处理后sar图像数据进行人工标注，得到sar图像数据集，再将该数据集划分为训练数据集和测试数据集；
40.具体实施时，可以使用现成的sar图像数据集，则无需对sar图像数据进行人工标注，只需对数据集中的sar图像进行数据预处理后，再进行模型训练和测试；
41.本实施例所利用的数据集是中科院的李健伟等人在国内外首先发表的sar图像船舰检测的数据集ssdd。尽管ssdd数据集中的sar图像的质量都较好，但是实际场景下的sar图像容易受到相干斑噪声的干扰，因此需用合适的滤波算法来抑制噪声，并以消融实验来证明其可行性。
42.本实施例采用的抑制噪声的算法为双边去噪。其中为凸显舰船信息的效果，让边缘和船舰更显高亮且抑制较孤立的噪点值，经过多次实验对比后，最终设置滑窗的大小为100，空间平滑因子设为5，灰度平滑因子设为100。去噪效果图如附图4所示。
43.本实施例采用的数据增强的方式为填鸭式，即通过增加目标出现的次数来使得模型不会发生过拟合。实现过程需要将已有的目标从图像中裁剪下来，放置到图像其余的背景空间。海洋中的sar图像背景简单，易于得到目标子图。但将目标放入复杂背景中时，如果截取目标面积过小则有碍于图像的表达。因此截取以海洋为背景的中型舰船目标，将其放入海洋面积大且背景复杂的图像中，生成多张图像后，人工选取合适的结果作为训练集。填鸭后的效果图如附图5所示。
44.训练集和测试集的划分：ssdd数据集中文件编号最后数字为1和9的图像为测试集，其余的为训练集。
45.步骤4：建立改进yolov3模型；
46.其中，改进yolov3模型包括改进主干网络、改进瓶颈层以及构建深层网络的特征融合结构；
47.所述改进主干网络具体为：在yolov3的主干网络darknet53后增加spp结构；
48.在yolov3所使用的主干网络darknet53后增加spp结构，spp结构流程为将输入分别经过尺寸为1
×
1，3
×
3，5
×
5的最大池化结构，上采样到同一尺寸后，拼接所有特征并进行1x1卷积。其改进结构性能对比结果如表1所示。
49.表1改进结构性能对比
50.网络结构准确率召回率ap值darknet5385.3％82.9％89.3％darknet53-spp92.5％85.6％93.6％
darknet53-rfb93.6％87.6％92.1％
51.所述改进瓶颈层是指对原有yolov3的fpn层进行简化后得到fpn-light结构，如附图2所示；
52.将改进的fpn层结构与其它两种fpn层结构进行对比，其改进结构性能对比结果，如表2所示。
53.表2不同瓶颈结构下检测算法性能对比
54.瓶颈层结构显存占用量准确率召回率ap值fpn3.90g92.5％85.6％93.6％panet4.28g93.6％93.6％70.5％fpn-light3.59g91.4％90.3％93.6％
55.所述构建深层网络的特征融合结构是指选取resnet50的n1模块和n2模块作为并行辅助结构，并将其与darknet53主干网络进行融合得到深层网络的特征融合结构，如附图3所示；
56.其中，深层网络的特征融合结构的具体描述为：将主干网络darknet53的残差模块c2的输出特征输入到辅助网络n1和主干网络darknet53的残差模块c3中；辅助网络n1的输出特征输出到辅助网络n2中，同时对辅助网络n1的输出特征进行上采样，然后再与主干网络darknet53的残差模块c3的输出特征按累加形式融合后输入到主干网络darknet53的残差模块c4中；对辅助网络n2的输出特征进行上采样，然后再与主干网络darknet53中的残差模块c4的输出特征按累加形式融合后输入到主干网络darknet53的残差模块c5中；主干网络darknet53的残差模块c5的输出特征则依然送入spp层和fpn-light瓶颈层；
57.步骤5：将步骤3得到的训练数据集输入步骤4改进的yolov3模型中进行训练，得到训练好的改进yolov3模型；
58.步骤6：将步骤3的测试数据集输入步骤5训练好的基于改进yolov3的模型进行测试验证，得到识别结果；与基于darknet-yolov3的海岸边舰船识别结果对比如附图6所示，可见看出本发明设计的方法检测效果更鲁棒，对大目标的检测比原设计算法得到有效提升。将改进的yolov3与yolov4进行对比结果，如表3所示；
59.表3两种检测算法性能对比
[0060][0061]
本发明一种基于改进yolov3的sar图像目标检测方法与现有方法用于sar图像检测比较结果，如表4所示。
[0062]
表4国内外检测方法效果比较
[0063][0064]
实施例2
[0065]
如图7所示，本发明第2实施方式涉及的一种基于改进yolov3的sar图像目标检测平台，包括至少一个处理器，以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行上述一种基于改进yolov3的sar图像目标检测方法。
[0066]
其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以通过接口将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的。接口在总线和收发机之间提供接口，例如通信接口、用户接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
[0067]
处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
[0068]
本发明第四实施方式涉及一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时实现上述一种基于改进yolov3的sar图像目标检测方法的实施例。
[0069]
本领域技术人员通过上述说明可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括但不限于u盘、移动硬盘、磁性存储器、光学存储器等各种可以存储程序代码的介质。
[0070]
以上所述为本发明的较佳实施例而已，本发明不应该局限于该实施例和附图所公开的内容。凡是不脱离本发明所公开的精神下完成的等效或修改，都落入本发明保护的范围。

技术特征：
1.一种基于改进yolov3的sar图像目标检测方法，其特征在于：包括如下步骤：步骤1：传感器采集hh、hv、vv和vh四种极化方式下的sar图像；步骤2：对获得的sar图像数据进行预处理，得到预处理后sar图像数据；步骤3：对步骤2得到的预处理后sar图像数据进行人工标注，得到sar图像数据集，再将该数据集划分为训练数据集和测试数据集；步骤4：建立改进yolov3模型；其中，改进yolov3模型包括改进主干网络、改进瓶颈层以及构建深层网络的特征融合结构；所述改进主干网络为：在yolov3的主干网络darknet53后增加spp结构；所述改进瓶颈层是指对原有yolov3的fpn层进行简化后得到fpn-light结构；所述构建深层网络的特征融合结构是指选取resnet50的n1模块和n2模块作为并行辅助结构，并将其与主干网络darknet53进行融合得到深层网络的特征融合结构；步骤5：将步骤3得到的训练数据集输入步骤4改进的yolov3模型中进行训练，得到训练好的改进yolov3模型；步骤6：将步骤3的测试数据集输入步骤5训练好的基于改进yolov3的模型进行测试验证，得到识别结果。2.依据权利要求1所述的sar图像目标检测方法，其特征在于：步骤2中，所述sar图像数据预处理包括sar图像去噪以及数据增强。3.依据权利要求1所述的sar图像目标检测方法，其特征在于：步骤4中，深层网络的特征融合结构的具体描述为：将主干网络darknet53的残差模块c2的输出特征输入到辅助网络n1和主干网络darknet53的残差模块c3中。4.依据权利要求3所述的sar图像目标检测方法，其特征在于：辅助网络n1的输出特征输出到辅助网络n2中，同时对辅助网络n1的输出特征进行上采样。5.依据权利要求4所述的sar图像目标检测方法，其特征在于：对辅助网络n1上采样后的特征与主干网络darknet53的残差模块c3的输出特征按累加形式融合后输入到主干网络darknet53的残差模块c4中。6.依据权利要求5所述的sar图像目标检测方法，其特征在于：对辅助网络n2的输出特征进行上采样，然后再与主干网络darknet53中的残差模块c4的输出特征按累加形式融合后输入到主干网络darknet53的残差模块c5中。7.依据权利要求6所述的sar图像目标检测方法，其特征在于：主干网络darknet53的残差模块c5的输出特征依次送入spp层和fpn-light瓶颈层。8.一种基于改进yolov3的sar图像目标检测装置，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的一种基于改进yolov3的sar图像目标检测方法。9.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的一种基于改进yolov3的sar图像目标检测方法。

技术总结
本发明涉及基于改进YOLOv3的SAR图像目标检测方法，属于雷达目标检测技术领域。所述方法包括：采集SAR图像；对SAR图像数据进行预处理，得到预处理后SAR图像数据并进行人工标注，得到SAR图像数据集并划分为训练数据集和测试数据集；建立改进YOLOv3模型，即在YOLOv3的主干网络Darknet53后增加SPP结构；简化原有YOLOv3的FPN层得FPN-light结构；将训练数据集输入改进的YOLOv3模型中进行训练，得到训练好的改进YOLOv3模型；将测试数据集输入训练好的改进YOLOv3模型进行测试，得到识别结果。所述方法可较为准确识别出SAR图像中的舰船。方法可较为准确识别出SAR图像中的舰船。方法可较为准确识别出SAR图像中的舰船。


技术研发人员：傅雄军 郎平 吴编 冯程 苏沁宁 卢继华 谢民
受保护的技术使用者：北京理工大学
技术研发日：2021.11.23
技术公布日：2022/3/7