基于PTCHS模块的并联变压器CNN混合比例水下图像增强方法

本发明涉及图像处理，具体为基于ptchs模块的并联变压器cnn混合比例水下图像增强方法。

背景技术：

1、随着自主水下无人航行器和遥控潜水器的快速发展，对水下探索的需求也迅速增长，包括水下遥感分析、海洋环境监控以及对水下生物的探测。最近，水下成像已成为发现隐藏在海洋深处无尽宝藏的最有效手段。然而，由于水下环境中粒子对光的传播造成的吸收和散射，水下图像的质量通常会受到严重影响。此外，不同波长的光也会影响成像质量。即使在高端相机中，颜色偏移、颜色伪影和模糊的细节也十分常见。

2、更糟糕的是，水下图像采集设备的性能限制通常导致较低的分辨率。尽管许多超分辨率（sisr）模型能够从低分辨率生成高uciqe分辨率图像，但在复杂的水下环境中，少量的噪声和光学失真可能导致信息损失进一步放大。因此，考虑到水下领域特有的光学特性，单网络同时进行图像增强（uie）和超分辨率（sr，即sesr）更为合适。更重要的是，随着transformer的普及，cnn似乎被transformer所掩盖。许多网络将用于提取特征的卷积层替换为transformer块。然而，重新审视transformer中的自注意力设计表明，由于缺乏正确的归纳偏置，将卷积重新引入transformer中的位置是结合两者优势的途径，以引导非均匀介质分布下图像退化的归纳偏置。

3、水下图像作为理解与感知水下环境的重要载体，获取清晰的水下图像至关重要。然而，水下图像常受水体中颗粒引起的光吸收和散射影响，导致图像色彩和对比度大幅下降，这限制了水下场景识别和理解，如水下生物探测、水下遥感分析和水下考古学。近年来，为改善水下图像质量，水下图像在海洋探索、水下作业等领域具有重要应用价值。然而，由于水下环境中光的散射和吸收，水下图像通常存在色彩偏差、对比度降低等问题，严重影响了图像的视觉效果和后续处理分析的准确性。

技术实现思路

1、（一）解决的问题

2、针对现有技术的不足，本发明提供了基于ptchs模块的并联变压器cnn混合比例水下图像增强方法，该方法结合了卷积神经网络（cnn）和transformer的优势，通过多级处理提取和重建图像特征。

3、（二）技术方案

4、为实现以上目的，本发明通过以下技术方案予以实现：基于ptchs模块的并联变压器cnn混合比例水下图像增强方法，具体包括以下步骤：

5、s1、输入水下图像预处理，通过输入投影层将图像数据映射到特征空间，使用卷积操作提取初步特征；

6、s2、特征表示通过ptchs模块进行处理；

7、s3、在ptchs模块中，局部特征和全局特征通过卷积层融合，以结合局部细节和全局上下文；

8、s4、利用残差连接和跳过连接机制，增强特征的传递，保留原始图像信息；

9、s5、通过输出投影层将融合后的特征映射回原始图像分辨率，生成增强后的图像。

10、优选的，所述步骤s2中通过ptchs模块进行处理具体包括以下步骤：

11、a1、使用卷积层调整通道维度，将输入张量分割为cnn和transformer处理路径；

12、a2、cnn路径专注于提取局部特征，如边缘和纹理；

13、a3、transformer路径专注于捕捉全局特征，如图像的整体结构。

14、优选的，所述ptchs模块的具体处理过程如下： ptchs模块是本发明的核心：

15、b1、输入分隔：通过1×1卷积调整输入特征的通道维度，实现特征的均匀分割；

16、b2、cnn分支：采用深度卷积神经网络提取图像的局部特征，包括边缘、纹理等；

17、b3、transformer分支：通过自注意力机制捕捉图像的长距离依赖关系，提取全局特征；

18、b4、特征融合：通过1×1卷积将cnn和transformer的输出特征融合，增强特征表达能力；

19、b5、残差连接：在ptchs模块中加入残差连接，以提高网络的训练稳定性和特征传递效率。

20、优选的，为了训练所提出的网络模型，采用以下损失函数：

21、c1、结构相似性损失（ssim loss）：衡量增强图像与高质量参考图像之间的结构相似度；

22、c2、感知损失（perceptual loss）：基于预训练的vgg网络，计算增强图像与参考图像在不同层级的特征差异；

23、c3、总损失：结合c1和c2两种损失，通过加权求和得到最终的损失函数，用于网络的端到端训练。

24、优选的，所述步骤s5生成增强后的图像后，进行实验验证具体如下：实验部分详细描述了本发明方法的实验设置、数据集、评估指标和结果分析：

25、d1、数据集：使用uieb数据集进行训练和测试，包括800对训练图像和90对测试图像；

26、d2、评估指标：采用psnr、ssim、uiqm、uciqe和niqe等指标进行全面评估；

27、d3、结果分析：在多个评价指标上均优于现有技术，显示出卓越的性能。

28、优选的，所述实验验证采用pytorch框架，在nvidia rtx3090 gpu上进行，训练了500个epoch。

29、ptchs模块是本发明的核心组件，它通过并行处理结合了cnn和transformer的优势，分别提取局部和全局特征，并通过卷积层将这些特征融合。ptchs模块的设计允许模型同时考虑局部细节和全局上下文，以实现更准确的特征表示。

30、（三）有益效果

31、本发明提供了基于ptchs模块的并联变压器cnn混合比例水下图像增强方法。与现有技术相比具备以下有益效果：该基于ptchs模块的并联变压器cnn混合比例水下图像增强方法，通过利用ptchs模块有效编码和解码水下图像特征，通过1×1卷积展开调道维度，将输入张量均匀分割为cnn和transformer两个部分，实现局部特征与全局特征的独立并行处理。最终通过融合这些特征，并建立跳过连接，得到增强后的水下图像。本发明的方法在提升图像质量的同时，保持了计算效率和特征提取能力之间的平衡，有效提升了水下图像的色彩准确性和对比度，通过ptchs模块的并行处理，提高了计算效率，通过残差连接和跳过连接，保留了图像的细节信息。

技术特征：

1.基于ptchs模块的并联变压器cnn混合比例水下图像增强方法，其特征在于：具体包括以下步骤：

2.根据权利要求1所述的基于ptchs模块的并联变压器cnn混合比例水下图像增强方法，其特征在于：所述步骤s2中通过ptchs模块进行处理具体包括以下步骤：

3.根据权利要求2所述的基于ptchs模块的并联变压器cnn混合比例水下图像增强方法，其特征在于：所述ptchs模块的具体处理过程如下：

4.根据权利要求1所述的基于ptchs模块的并联变压器cnn混合比例水下图像增强方法，其特征在于：为了训练所提出的网络模型，采用以下损失函数：

5.根据权利要求1所述的基于ptchs模块的并联变压器cnn混合比例水下图像增强方法，其特征在于：所述步骤s5生成增强后的图像后，进行实验验证具体如下：

6.根据权利要求5所述的基于ptchs模块的并联变压器cnn混合比例水下图像增强方法，其特征在于：所述实验验证采用pytorch框架，在nvidia rtx3090 gpu上进行，训练了500个epoch。

技术总结
本发明公开了基于PTCHS模块的并联变压器CNN混合比例水下图像增强方法，通过利用PTCHS模块有效编码和解码水下图像特征，通过1×1卷积展开调道维度，将输入张量均匀分割为CNN和Transformer两个部分，实现局部特征与全局特征的独立并行处理。最终通过融合这些特征，并建立跳过连接，得到增强后的水下图像。本发明涉及图像处理技术领域。该基于PTCHS模块的并联变压器CNN混合比例水下图像增强方法，本发明的方法在提升图像质量的同时，保持了计算效率和特征提取能力之间的平衡，有效提升了水下图像的色彩准确性和对比度，通过PTCHS模块的并行处理，提高了计算效率，通过残差连接和跳过连接，保留了图像的细节信息。

技术研发人员：郑中杰,吴文辰,谢松恩,陈宇华,邓金平,林雅婧
受保护的技术使用者：广东海洋大学
技术研发日：
技术公布日：2024/12/5