基于多尺度特征融合的图像增强网络

本发明涉及图像处理领域，具体为基于多尺度特征融合的图像增强网络。

背景技术：

1、人工智能领域的发展对采集的图像质量要求越来越严格，尽管当前成像技术发展迅速，但想要获取高质量图像却依然受外部因素的影响，尤其是夜间、低光的环境下。大多数情况下，人们尝试通过延迟曝光时间或借助人造光进行辅助以获取增强图像。但是，这可能导致图像模糊和失真，若曝光过度，还可能会出现图像细节信息的丢失。为了解决外部因素的影响，经过几十年的发展，研究出了许多低光环境下的增强方法。

2、传统的增强方法在面对复杂图像时(如高噪声、对比度低等)的增强效果急剧下降并且过于依赖手动化参数的调整。最近，人们研究了基于retinex理论的深度学习的增强方法。通过将输入图像分解为包含图像亮度分布照明分量和包含图像丰富色彩信息的反射分量，并分别进行增强和去噪。但这些方法大多只是简单对反射分量进行处理并没有考虑到颜色信号对增强图像的影响，这会导致图像出现不自然的色彩和伪影。因此，加强对颜色细节的提取以保留图像原有的色彩信息是很有必要的，现有的深度学习增强方法通常采用3种架构，即编码器-解码器结构，高分辨率图像特征处理以及多尺度跨分辨率结构。然而，在编码器-解码器结构中，以往的u-net模型忽略了对小的分辨率的特征的利用，也没有对跳跃连接的特征信息进行有效收集，导致整个过程中丢失了部分空间信息，而后续采取措施也很难将其恢复，基于上述分析，以retinex和编解码为架构的增强方法的不足可以简单概括为：①对潜在的细节信息增强程度较低。②基于编解码结构的增强方法缺少对底层分辨率和跳跃连接特征的有效利用。③忽略了反射分量颜色信号特征对增强图像的影响，基于上述问题本发明提出了基于多尺度特征融合的图像增强网络。

技术实现思路

1、本发明的目的在于提供基于多尺度特征融合的图像增强网络，以解决上述背景技术中提出的问题。

2、为实现上述目的，基于多尺度特征融合的图像增强网络，包括：

3、特征引导增强模块，由交叉特征注意力cfa与门控特征前馈块gffb组成，用于基于通道数减少特征提取过程的计算量；

4、特征学习模块，由特征增强块feb与特征收敛块fcb组成，以每层之间引导的特征lt作为输入，首先经过特征增强块进行适应性增强，得到初步增强结果随后将其发送到特征收敛块，对特征进行融合收敛，得到清晰收敛的增强特征映射并且整个过程共享参数，特征学习模块将每层输出的特征映射都收敛到相同状态，并参与后续每层特征的上采样融合操作；

5、分解子网络，由三个conv+leakyrelu，一个conv+sigmoid和ca组成，用于在分解前对图像进行去噪处理，获得照明分量与反射分量；

6、颜色调整模块，包括全局特征提取块和特征交叉学习块，在u-net模型的底层嵌入了全局提取模gfb对特征进行保留，采用特征交叉学习块融合每次上采样与跳跃连接的信息，提取颜色特征。

7、优选的：所述特征引导增强模块的cfa可同时接受三个特征的输入，即底层的初始和优化后的特征图与上一层初始特征图

8、随后，将来自底层的特征经过上采样操作后与上一层特征经过3×3conv+leakyrelu+1×1conv进行初始处理，随后进行维度变换，生成

9、

10、其过程可以表示为：

11、

12、其中，r代表维度变换reshape，up代表上采样操作，c1×1代表1×1的卷积核，c3×3代表3×3的卷积核，随后，运用矩阵乘法计算q与k之间跨通道的互协方差矩阵，得到一个大小为p256×256的交叉注意力图p，得到的注意力图p表达了底层分辨率特征在同一像素位置增强前后的变化，并将其用于指导v进行特征增强，将注意力图p通过同样的方式与v进行矩阵乘法运算，得到大小为的特征增强图，其得到过程可以表示为：

13、

14、其中，softmax代表softmax函数，代表矩阵乘法，c代表可控制大小的学习缩放参数，然后，将特征增强图进行维度变换为经过3×3conv+leakyrelu+1×1conv并采用残差连接方式对得到的增强特征进行融合，随后通过gffb来约束特征信息流，它由三个1×1conv与两个3×3conv和gelu激活函数组成，使上面的高分辨率特征层专注于恢复自身的结构信息并保留有用的特征。

15、优选的：所述特征学习模块的feb由三部分组成，初始层3×3conv+leakyrelu，中间层3×3conv+groupnormal+leakyrelu和多尺度提取模块msem，以及输出层3×3conv+sigmoid，msem将3×3的卷积核采用多分支并联的方式进行连接，msem的计算过程可以表示为：

16、

17、其中，表示msem，c3×3代表3×3的卷积核。

18、优选的：所述feb以特征lt作为输入，输出初始增强特征并作为下一阶段特征收敛模块的输入，feb的整体过程可以表示为：

19、

20、其中，表示feb，θ表示共享的权重，lt表示某一层输入的特征，代表msem，c3×3表示3×3的卷积核，表示leakyrelu激活函数，表示groupnormal，σ表示sigmoid函数。

21、优选的：所述fcb包括初始层3×3conv+groupnormal+leakyrelu，中间层特征融合模块ffm，输出层3×3conv+sigmoid，并引入校正图像st并将其添加到fcb的输入特征中，fcb的整体计算过程可以表示为：

22、

23、其中，c3×3表示3×3的卷积核，表示leakyrelu激活函数，表示groupnormal,σ表示sigmoid函数，同时整个flm的计算过程可以概括为：

24、

25、其中，表示fcm，θ表示共享的权重，代表flm，

26、表示fem。

27、优选的：所述gfeb的计算过程可以表示为：

28、

29、其中，dc代表dconv，avg代表平均池化层，max代表最大池化层，c代表concat，σ代表sigmoid函数，c1×1代表1×1的卷积核。

30、优选的：所述fclm-lm的计算过程可以表示为：

31、

32、其中，fc表示fclm,c表示concat，c3×3代表3×3的卷积核，c1×1代表1×1的卷积核。

33、本发明相较于现有技术，其有益效果为：

34、1)本发明提出的网络可以同时增强了色彩和细节，它包括一个多尺度的层间引导子网络和一个分解子网络；

35、2)本发明的fgem，它使用较低分辨率的特征来指导前一层特征的增强，此外，flm旨在增强和收敛来自不同尺度的引导特征，flm包括feb和fcb，并设计了ffm，它由多个聚变单元组成，这些聚变单元以新的残余结构级联，充分利用了不同尺度的特征，同时降低网络的计算负载。

36、3)本发明的一种基于u-net模型的cam，cam包括fclm和gfeb，分别用于从解码器中提取跳过连接信息和高维空间特征和保留低维空间特征，捕捉反射率分量中丰富的色彩细节特征。

技术特征：

1.基于多尺度特征融合的图像增强网络，其特征在于，包括：

2.根据权利要求1所述的基于多尺度特征融合的图像增强网络，其特征在于：所述特征引导增强模块的cfa可同时接受三个特征的输入，即底层的初始和优化后的特征图与上一层初始特征图随后，将来自底层的特征经过上采样操作后与上一层特征经过3×3conv+leakyrelu+1×1conv进行初始处理，随后进行维度变换，生成

3.根据权利要求1所述的基于多尺度特征融合的图像增强网络，其特征在于：所述特征学习模块的feb由三部分组成，初始层3×3conv+leakyrelu，中间层3×3conv+groupnormal+leakyrelu和多尺度提取模块msem，以及输出层3×3conv+sigmoid，msem将3×3的卷积核采用多分支并联的方式进行连接，msem的计算过程可以表示为：

4.根据权利要求3所述的基于多尺度特征融合的图像增强网络，其特征在于：所述feb以特征lt作为输入，输出初始增强特征并作为下一阶段特征收敛模块的输入，feb的整体过程可以表示为：

5.根据权利要求4所述的基于多尺度特征融合的图像增强网络，其特征在于：所述fcb包括初始层3×3conv+groupnormal+leakyrelu，中间层特征融合模块ffm，输出层3×3conv+sigmoid，并引入校正图像st并将其添加到fcb的输入特征中，fcb的整体计算过程可以表示为：

6.根据权利要求1所述的基于多尺度特征融合的图像增强网络，其特征在于：所述gfeb的计算过程可以表示为：

7.根据权利要求6所述的基于多尺度特征融合的图像增强网络，其特征在于：所述fclm-lm的计算过程可以表示为：

技术总结
本发明涉及图像处理领域，基于多尺度特征融合的图像增强网络，包括特征引导增强模块、特征学习模块、分解子网络以及颜色调整模块，上述网络可以同时增强了色彩和细节，充分利用不同尺度的特征，同时降低网络的计算负载，捕捉反射率分量中丰富的色彩细节特征。

技术研发人员：付伟,尹沫涵,杨建柏
受保护的技术使用者：哈尔滨师范大学
技术研发日：
技术公布日：2024/12/5