一种水下偏振图像复原与识别方法

1.本发明涉及水下光学成像技术领域，尤其涉及一种水下偏振图像复原与识别方法。


背景技术：

2.水下光学成像技术在水下勘探检测等领域具有广泛应用，为探索海洋提供了技术支持，但传统的水下光学成像技术无法过滤并剔除由杂质粒子发出的散射光，导致成像质量差的问题。因此提出了光学物理模型与深度学习相结合的研究，即利用神经网络提取图像的有效偏振信息达到清晰成像的目的。但对于实现水下探测设备的智能化，该研究仍存在不足与局限性。
3.目前，通过神经网络处理图像偏振信息的图像复原技术并没有充分利用采集到的偏振信息。在偏振成像的物理模型中，可以得到多个偏振信息指标。深度学习中的神经网络具有强大的特征提取与处理能力，完全能够充分提取并处理这些偏振信息。
4.如专利号cn113538279a公开了一种基于深度学习的水下偏振图像复原系统及其复原方法，通过利用卷积神经网络进行高浑浊度水下图像复原，虽然该专利的水下偏振图像复原系统基于深度学习，只针对于能够提高成像质量的偏振信息进行处理，使用提取的偏振光信息，去除混浊粒子的散射光的影响实现清晰成像能够对水下目标实现了图像的复原，却忽略了偏振信息中所隐含的图像内容的特征信息。缺乏对隐含图像内容的特性信息的处理，导致系统无法对图像内容做出相应反应与处理。
5.因此，对于整体的基于深度学习的图像恢复系统而言，如何在实现图像复原的基础上，通过构建目标识别网络对图像内容进行识别，从而实现水下光学成像智能化复原和识别成为本领域急需解决的难题。


技术实现要素：

6.本发明针对现有图像复原技术存在的不足，本发明提供了一种基于深度学习的水下偏振图像复原与识别方法。输入端口中引入圆偏振图像，利用神经网络提取四张偏振图像的偏振信息，在pytorch框架基础上设计图像复原网络与识别网络，得到与提高成像质量相关的偏振信息矩阵，传入yolo网络，进一步提取特征，提取图像目标边缘表面的特征从而在图像复原基础上实现目标识别。
7.技术方案
8.一种水下偏振图像复原与识别方法，包括以下步骤：
9.步骤1、搭建水下主动成像系统；由光源(1)发出的光束依次经过偏振调制系统的第一偏振片(2)、第二四分之一波片(3)和扩束器(4)后照射在水中的目标物上(7)，经过目标物(7)反射后依次经过图像采集系统的第二偏振片(8)，四分之一波片(9)到达cmos相机(10)；
10.步骤2、拍摄偏振图像；拍摄水下中清晰强度图像，利用步进电机控制cmos相机
(10)前的第二偏振片(8)，旋转至0
°
、45
°
、90
°
，并加入四分之一波片，得到0
°
、45
°
、90
°
和圆偏振四张图像；
11.步骤3、构建数据集；首先利用裁剪图像得到0
°
、45
°
、90
°
和圆偏振四张图像合成按照rgb图像格式构建三维图像，通过翻转扩大数据集，同时对图像中的目标进行打标操作，在标记图像中目标位置与类别信息；将得到的图像按0.8：0.1：0.1的比例分为训练集，验证集，测试集；
12.步骤4、在pytorch框架基础上设计图像复原网络与识别网络；其中图像复原网络由sfe、rdb、dff网络层组件构成，用于图像的复原；目标识别网络由cspdarknet53、spp、panet网络层组件构成，用于图像中目标的识别；通过路径聚合网络(panet)将图像复原网络与识别网络进行链接，实现图像复原的同时实现目标识别；
13.步骤5、搭建复原图像网络层；将步骤3中处理好的图像输入图像复原网络，经过sfe网络的卷积层提取偏振信息特征，将提取到的偏振信息特征送入步骤四中的rdb网络，rdb网络利用密集残差块实现对偏振信息的处理，拟合非线性参数，通过拟合k估计值函数进一步提取对清晰成像有效的偏振信息，然后将在rdb网络得到的多尺度有效偏振信息特征分别传入目标识别网络与连接层，在识别网络层实现偏振信息特征参数共享，再连接层组成的特征图进行连接，得到完整的图像矩阵，完成了对图像的复原；
14.步骤6、搭建目标识别网络层；将图像传入sfe网络层提取偏振信息特征后，使用cspdarknet53网络进一步提取偏振图像的边缘、表层粗糙度和背景的特征，并融合步骤5中在rdb网络得到的有效偏振信息特征，增加特征维度，同时对比sfe网络输入的偏振信息特征，得到差异矩阵并输入cspdarknet53网络的下一级残差(res)网络；然后将得到的特征图传入spp层对目标物进行定位，并将目标物对应的特征矩阵按照固定大小输入panet网络，通过对不同尺度下的特征图进行相加或堆叠操作，利用三个分类器对大中小三种尺寸的目标物进行分类识别，在输出端，结合dff层输出的清晰图像矩阵与在目标识别层得到的位置信息与分类结果，输出一张清晰成像下的目标识别图；
15.进一步的，利用步骤3中的训练集对搭建的网络进行训练，得到图像复原网络与目标识别网络的权重文件。
16.进一步的，利用测试集图像对步骤4搭建的复原与识别网络模型进行测试，使用图像增强指标衡量图像复原效果，并利用标签文件对目标识别结果进行评价。
17.进一步的，在步骤6中，通过利用rdb网络提取的有效偏振信息特征，与目标识别网络实现参数共享，提高目标识别精度与速度，在复原的同时进行识别，提高网络模型速度。
18.进一步的，在步骤6中，通过将复原图像与识别结果进行合并，得到一张清晰成像下的目标识别图，从而实现端对端的图像复原与识别。
19.有益效果
20.和现有技术相比，本发明在基于k估计模块的图像复原技术基础上进一步利用不同角度偏振图像的偏振信息通过构建目标识别网络对图像内容进行识别，复原网络与识别网络进行参数共享，在提取利于清晰成像的有效偏振信息的同时提取偏振图像中目标与背景特征，利用偏振信息复原的同时进行识别，从而实现水下光学成像智能化复原和识别，实现水下图像复原技术的智能化处理。
附图说明
21.图1为本发明中的复原识别方法实施步骤流程示意图。
22.图2为本发明中的水下主动成像系统的组成装置示意图。
23.图3为本发明中复原识别方法在pytorch框架基础上设计图像复原与识别网络复原识别过程示意图。
24.图4为该发明的效果图。
25.附图标号：
26.光源1、第一偏振片2、第一四分之一波片3、扩束器4、玻璃水缸5、模拟水下环境6、目标物7、第二偏振片8、第二四分之一波片9、cmos相机10。
具体实施方式
27.为了使本发明的目的、技术方案和有益技术效果更加清晰，下面结合附图和具体实施方式，对本发明技术方案进行详细阐述。应当理解的是，本说明书中描述的实施例仅仅是为了解释本发明，并非为了限定本发明，实施例的参数、比例等可因地制宜做出选择而对结果并无实质性影响。
28.由图1-图4，本发明提供了一种基于深度学习的水下偏振图像复原识别系统，包括水下主动成像系统与偏振图像复原识别系统；水下主动成像系统包括光源(1)，偏振调制系统，图像采集系统和卷积神经网络；偏振调制系统包括第一偏振片(2)、第二四分之一波片(3)和扩束器(4)；图像采集系统包括第二偏振片(8)，第二四分之一波片(9)和cmos相机(10)；光源发出的光束经过偏振调制系统的第一偏振片(2)、第二四分之一波片(3)和扩束器(4)后照射在水中的目标物上(7)，经过目标物(7)反射后经过图像采集系统的第二偏振片(8)，四分之一波片(9)到达cmos相机(10)，第二偏振片(8)由步进电机控制旋转。所述偏振图像复原识别系统包括基于pytorch框架的复原网络与目标识别网络。
29.本发明还提供了一种应用于一种基于深度学习的水下偏振图像复原识别系统上的复原与识别方法
30.包括以下复原与识别步骤：
31.步骤1、搭建水下主动成像系统，采集水下清晰图像；光源(1)发出的光束经过偏振调制系统的第一偏振片(2)、第二四分之一波片(3)和扩束器(4)后照射在水中的目标物上(7)，经过目标物(7)反射后经过图像采集系统的第二偏振片(8)，四分之一波片(9)到达cmos相机(10)；优选的，本实施例中采用532nm蓝绿激光器作为主动光源(1)，选择pmma(聚甲基丙烯酸甲酯)玻璃缸，分别加入不同浓度的脱脂牛奶得到实验样本环境。
32.步骤2、拍摄偏振图像；拍摄水下中清晰强度图像，利用步进电机控制cmos相机(10)前的第二偏振片(8)，旋转至0
°
、45
°
、90
°
，并加入四分之一波片，得到0
°
、45
°
、90
°
和圆偏振四张图像；
33.步骤3、构建数据集，首先利用裁剪图像得到0
°
、45
°
、90
°
和圆偏振四张图像合成按照rgb图像格式构建三维图像，通过翻转扩大数据集，同时对图像中的目标进行打标操作，在标记图像中目标位置与类别信息；将得到的图像按0.8：0.1：0.1的比例分为训练集，验证集，测试集；
34.步骤4、在pytorch框架基础上设计图像复原网络与识别网络；其中图像复原网络
由sfe、rdb、dff网络层组件构成，用于图像的复原；目标识别网络由cspdarknet53、spp、panet网络层组件构成，用于图像中目标的识别；通过路径聚合网络(panet)将图像复原网络与识别网络进行链接，实现图像复原的同时实现目标识别；
35.步骤5、搭建复原图像网络层；将步骤3中处理好的图像输入图像复原网络，经过sfe网络的卷积层提取偏振信息特征，将提取到的偏振信息特征送入步骤四中的rdb网络，rdb网络利用密集残差块实现对偏振信息的处理，拟合非线性参数，通过拟合k估计值函数进一步提取对清晰成像有效的偏振信息，然后将在rdb网络得到的多尺度有效偏振信息特征分别传入目标识别网络与连接层，在识别网络层实现偏振信息特征参数共享，再连接层组成的特征图进行连接，得到完整的图像矩阵，完成了对图像的复原；
36.步骤6、搭建目标识别网络层；将图像传入sfe网络层提取偏振信息特征后，使用cspdarknet53网络进一步提取偏振图像的边缘、表层粗糙度和背景的特征，并融合步骤5中在rdb网络得到的有效偏振信息特征，增加特征维度，同时对比sfe网络输入的偏振信息特征，得到差异矩阵并输入cspdarknet53网络的下一级残差(res)网络；然后将得到的特征图传入spp层对目标物进行定位，并将目标物对应的特征矩阵按照固定大小输入panet网络，通过对不同尺度下的特征图进行相加或堆叠操作，利用三个分类器对大中小三种尺寸的目标物进行分类识别，在输出端，结合dff层输出的清晰图像矩阵与在目标识别层得到的位置信息与分类结果，输出一张清晰成像下的目标识别图；
37.进一步的，利用步骤3中的训练集对搭建的网络进行训练，得到图像复原网络与目标识别网络的权重文件。
38.进一步的，利用测试集图像对步骤4搭建的复原与识别网络模型进行测试，使用图像增强指标衡量图像复原效果，并利用标签文件对目标识别结果进行评价。
39.进一步的，在步骤6中，通过利用rdb网络提取的有效偏振信息特征，与目标识别网络实现参数共享，提高目标识别精度与速度，在复原的同时进行识别，提高网络模型速度。
40.进一步的，在步骤6中，通过将复原图像与识别结果进行合并，得到一张清晰成像下的目标识别图，从而实现端对端的图像复原与识别。
41.本发明在基于k估计模块的图像复原技术基础上进一步利用偏振信息对图像内容进行识别，从而实现水下图像复原技术的智能化处理。
42.从实验结果可以直观地看出，本发明在显著提高浑浊水下图像效果同时能够准确的识别出图像中的目标物。为定量地对图像成像质量进行评估，采用eme(the value of measure of enhancement)和图像对比度(ic)作为衡量标准来评价图像的提升效果，eme和ic越大,表示图像质量越高。
43.对比结果如下表所示下：
[0044] 原图物理模型复原图本发明eme0.6390.6662.452ic0.0970.1760.551
[0045]
虽然结合附图介绍了本发明的实施方式,但是专利所有者可以在所附权利要求的范围之内做出变形或修改，只要不超过本发明的权利要求所描述的保护范围，均在本发明的保护范围之内。

技术特征：
1.一种水下偏振图像复原与识别方法，其特征在于，包括以下步骤：步骤1、搭建水下主动成像系统；由光源(1)发出的光束依次经过偏振调制系统的第一偏振片(2)、第二四分之一波片(3)和扩束器(4)后照射在水中的目标物上(7)，经过目标物(7)反射后依次经过图像采集系统的第二偏振片(8)，四分之一波片(9)到达cmos相机(10)；步骤2、拍摄偏振图像；拍摄水下中清晰强度图像，利用步进电机控制cmos相机(10)前的第二偏振片(8)，旋转至0
°
、45
°
、90
°
，并加入四分之一波片，得到0
°
、45
°
、90
°
和圆偏振四张图像；步骤3、构建数据集；首先利用裁剪图像得到0
°
、45
°
、90
°
和圆偏振四张图像合成按照rgb图像格式构建三维图像，通过翻转扩大数据集，同时对图像中的目标进行打标操作，在标记图像中目标位置与类别信息；将得到的图像按0.8：0.1：0.1的比例分为训练集，验证集，测试集；步骤4、在pytorch框架基础上设计图像复原网络与识别网络；其中图像复原网络由sfe、rdb、dff网络层组件构成，用于图像的复原；目标识别网络由cspdarknet53、spp、panet网络层组件构成，用于图像中目标的识别；通过路径聚合网络(panet)将图像复原网络与识别网络进行链接，实现图像复原的同时实现目标识别；步骤5、搭建复原图像网络层；将步骤3中处理好的图像输入图像复原网络，经过sfe网络的卷积层提取偏振信息特征，将提取到的偏振信息特征送入步骤四中的rdb网络，rdb网络利用密集残差块实现对偏振信息的处理，拟合非线性参数，通过拟合k估计值函数进一步提取对清晰成像有效的偏振信息，然后将在rdb网络得到的多尺度有效偏振信息特征分别传入目标识别网络与连接层，在识别网络层实现偏振信息特征参数共享，再连接层组成的特征图进行连接，得到完整的图像矩阵，完成了对图像的复原；步骤6、搭建目标识别网络层；将图像传入sfe网络层提取偏振信息特征后，使用cspdarknet53网络进一步提取偏振图像的边缘、表层粗糙度和背景的特征，并融合步骤5中在rdb网络得到的有效偏振信息特征，增加特征维度，同时对比sfe网络输入的偏振信息特征，得到差异矩阵并输入cspdarknet53网络的下一级残差(res)网络；然后将得到的特征图传入spp层对目标物进行定位，并将目标物对应的特征矩阵按照固定大小输入panet网络，通过对不同尺度下的特征图进行相加或堆叠操作，利用三个分类器对大中小三种尺寸的目标物进行分类识别，在输出端，结合dff层输出的清晰图像矩阵与在目标识别层得到的位置信息与分类结果，输出一张清晰成像下的目标识别图。2.根据权利要求1所述的一种水下偏振图像复原与识别方法，其特征在于，利用步骤3中的训练集对搭建的网络进行训练，得到图像复原网络与目标识别网络的权重文件。3.根据权利要求1所述的一种水下偏振图像复原与识别方法，其特征在于，利用测试集图像对步骤4搭建的复原与识别网络模型进行测试，使用图像增强指标衡量图像复原效果，并利用标签文件对目标识别结果进行评价。4.根据权利要求1所述的一种水下偏振图像复原与识别方法，其特征在于，在步骤6中，通过利用rdb网络提取的有效偏振信息特征，与目标识别网络实现参数共享，提高目标识别精度与速度，在复原的同时进行识别，提高网络模型速度。5.根据权利要求1所述的一种水下偏振图像复原与识别方法，其特征在于，在步骤6中，通过将复原图像与识别结果进行合并，得到一张清晰成像下的目标识别图，从而实现端对
端的图像复原与识别。

技术总结
本发明提供了一种水下偏振图像复原与识别方法，包括搭建水下主动成像系统；拍摄偏振图像；构建数据集；对数据集进行打标处理；在pytorch框架基础上设计图像复原网络与识别网络；搭建图像复原与目标识别网络层；复原图像与识别结果进行合并，实现端对端的图像复原与识别等多个步骤进行水下偏振图像的复原和识别，最后使用测试集测试经图像复原网络模型恢复后的图像质量效果并利用测试集的含有目标位置与类别信息的标签文件测试识别网络的识别效果。别效果。别效果。


技术研发人员：王国臣 高杰 任启明 项延发 陈瑞品 张建军
受保护的技术使用者：浙江理工大学
技术研发日：2021.11.26
技术公布日：2022/3/8