用于道路裂缝检测的可见光与红外光图像融合方法及设备与流程

本发明涉及图像融合，特别是涉及一种用于道路裂缝检测的可见光与红外光图像融合方法及设备。

背景技术：

1、传统的路面检测方法往往基于单模态的输入数据，然而单模态数据在特定条件下常常存在缺陷，图像采集条件的变化例如相机校准照明条件和图像质量，往往在处理复杂环境条件时无法获取明确的裂缝信息。由于可见光和红外图像具有几乎所有物体固有的特征，可以通过融合产生鲁棒性高且信息丰富的图像。然而，目前的融合规则往往忽略图像特征的差异性，导致结果包含伪影且源图像细节丢失。

2、近年来，研究者更多地倾向于采用深度学习算法实现可见光和红外图像的融合，现有的一种多源图像融合算法，在非下采样轮廓波域(nonsubsampledcontourlettransform，nsct)提取融合目标区域的可见光和红外图像，对融合图像质量进行了提升，但当网络深度达到一定程度时，效果反而会下降。一种融合静态多曝光度的图像融合方法(deep unsupervised approach forfusion，deepfuse)，首先将输入图像转换到不同的色彩空间，通过两个并行的神经网络分支提取不同色彩空间中的低级特征(如纹理和边缘)和高级特征(如语义和结构)。然后融合相应的权重，将两个特征图像进行加权平均，得到输出图像，但是最终的融合图像也存在与环境对比度低的问题。一种生成式可见光与红外图像融合对抗网络(generativeadversarial network for infrared and visibleimage fusion，fusiongan)，将融合算法定义为保持红外热辐射信息与可见光外观纹理信息的对抗博弈，但由于鉴别器在对抗生成过程中只关注可见光图像，因此难以获取融合图像局部信息。一种新的生成器融合架构，称为多分类约束的生成对抗网络(generativeadversarial network with multi-classification constraints，ganmcc)，该框架全局生成器通过编码输入图像的全局信息生成粗糙的融合图像，局部生成器则通过编码输入图像的局部信息，生成一个细节修正图像。但融合结果更趋近于红外图像的像素分布，图像过于平滑，且会产生一些不连续的边缘。

3、综上所述，现有的可见光和红外图像融合方法得到的道路融合图像边缘不清晰且细节不丰富，导致最终进行道路裂缝检测的结果不准确。

技术实现思路

1、本发明的目的是提供一种用于道路裂缝检测的可见光与红外光图像融合方法及设备，可得到边缘清晰且细节丰富的道路融合图像。

2、为实现上述目的，本发明提供了如下方案：

3、一种用于道路裂缝检测的可见光与红外光图像融合方法，包括：

4、获取目标道路的可见光图像和目标道路的红外光图像；

5、将所述目标道路的可见光图像和所述目标道路的红外光图像输入图像融合网络得到目标道路的融合图像，所述目标道路的融合图像用于道路裂缝检测，所述图像融合网络为对基于多尺度特征提取的多路注意力生成对抗网络进行训练得到的；所述基于多尺度特征提取的多路注意力生成对抗网络包括多尺度特征提取子网络、多注意力特征融合层、双鉴别器对抗生成网络层和拼接层；所述多尺度特征提取子网络包括依次连接的基于nest连接的多尺度特征提取层和金字塔特征融合模块；所述基于nest连接的多尺度特征提取层包括多个卷积层；所述多注意力特征融合层包括第一级联操作、强度路径、多尺度融合路径和梯度路径，所述强度路径包括依次连接的第二级联操作、第一卷积块、第二卷积块、强度注意力机制和第一叉乘操作，且第二卷积块的输出端还与第一叉乘操作的输入端连接；所述多尺度融合路径包括依次连接的第三卷积块、通道注意力机制和第二叉乘操作，且第三卷积块的输出端还与第二叉乘操作的输入端连接；所述梯度路径包括依次连接的第三级联操作、第四卷积块、第五卷积块、纹理注意力机制和第三叉乘操作，且第五卷积块的输出端还与第三叉乘操作的输入端连接；所述第二级联操作的输入端、所述第三卷积块的输入端和所述第三级联操作的输入端均与所述金字塔特征融合模块的输出端连接；所述第一叉乘操作的输出端、所述第二叉乘操作的输出端和所述第三叉乘操作的输出端均与所述第一级联操作的输入端连接，所述双鉴别器对抗生成网络层包括红外光鉴别器、可见光鉴别器和解码器，所述第一级联操作的输出端与所述解码器的输入端连接，所述红外光鉴别器的第一输入端用于输入所述目标道路的红外光图像，所述可见光鉴别器的第一输入端用于输入所述目标道路的可见光图像，所述红外光鉴别器的第二输入端和所述可见光鉴别器的第二输入端均与所述解码器的输出端连接，所述红外光鉴别器的输出端和所述可见光鉴别器的输出端均与所述拼接层连接，所述拼接层用于输出融合图像。

6、一种计算机设备，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序以实现上述所述的用于道路裂缝检测的可见光与红外光图像融合方法。

7、根据本发明提供的具体实施例，本发明公开了以下技术效果：

8、本发明提供的基于多尺度特征提取的多路注意力生成对抗网络包括多尺度特征提取子网络、多注意力特征融合层、双鉴别器对抗生成网络层和拼接层；多尺度特征提取子网络包括依次连接的基于nest连接的多尺度特征提取层和金字塔特征融合模块；多注意力特征融合层包括第一级联操作、强度路径、多尺度融合路径和梯度路径，强度路径包括依次连接的第二级联操作、第一卷积块、第二卷积块、强度注意力机制和第一叉乘操作，且第二卷积块的输出端还与第一叉乘操作的输入端连接；多尺度融合路径包括依次连接的第三卷积块、通道注意力机制和第二叉乘操作，且第三卷积块的输出端还与第二叉乘操作的输入端连接；梯度路径包括依次连接的第三级联操作、第四卷积块、第五卷积块、纹理注意力机制和第三叉乘操作，且第五卷积块的输出端还与第三叉乘操作的输入端连接；双鉴别器对抗生成网络层包括红外光鉴别器、可见光鉴别器和解码器，本发明提供的基于多尺度特征提取的多路注意力生成对抗网络结构将融合路径主要分为红外强度路径和可见光梯度路径，通过多尺度特征提取子网络用每一层输出的特征来构建连接作为上述两路径的输入，使得网络提取的特征能最大化的被使用，克服了单一尺度特征裂缝不清晰的问题。不仅于此，本发明还在多尺度融合路径上构建通道注意力机制，与不同的融合特征分布进行三路特征融合，在这种机制下，红外或可见光融合图像的特征会被保留下来，并会关注当前环境更重要的信息，从而在处理过程中更好地适应不同光照条件，可得到边缘清晰且细节丰富的道路融合图像。

技术特征：

1.一种用于道路裂缝检测的可见光与红外光图像融合方法，其特征在于，包括：

2.根据权利要求1所述的用于道路裂缝检测的可见光与红外光图像融合方法，其特征在于，所述基于nest连接的多尺度特征提取层包括6个卷积层；第一个卷积层的输入端、第四个卷积层的输入端以及第六个卷积层的输入端均用于输入目标道路的可见光图像和目标道路的红外光图像，第一个卷积层的输出端、第三个卷积层的输出端、第四个卷积层的输出端、第五个卷积层的输出端和第六个卷积层的输出端均与所述金字塔特征融合模块的输入端连接，第一个卷积层的输出端以及第四个卷积层的输出端还与第二个卷积层的输入端连接，第二个卷积层的输出端以及第五个卷积层的输出端还与第三个卷积层的输入端连接，第四个卷积层的输出端和第六个卷积层的输出端还与第五个卷积层的输入端连接，第一个卷积层、第四个卷积层以及第六个卷积层的卷积核均不相同。

3.根据权利要求2所述的用于道路裂缝检测的可见光与红外光图像融合方法，其特征在于，所述金字塔特征融合模块包括第一卷积层、第二卷积层、第三卷积层、第四卷积层和第五卷积层；

4.根据权利要求1所述的用于道路裂缝检测的可见光与红外光图像融合方法，其特征在于，所述强度注意力机制包括：高通滤波器和强度注意模块；所述强度注意模块包括第一最大池化层、第一平均池化层、第六卷积层和第一sigmoid函数；所述第一最大池化层和所述第一平均池化层的输入端分别与所述高通滤波器的输出端连接，所述第一最大池化层和所述第一平均池化层的输出端分别与所述第六卷积层的输入端连接，所述第六卷积层的输出端与所述第一sigmoid函数的输入端连接，所述高通滤波器的输入端与所述第二卷积块的输出端连接；所述第一sigmoid函数的输出端与所述第一叉乘操作的输入端连接。

5.根据权利要求1所述的用于道路裂缝检测的可见光与红外光图像融合方法，其特征在于，所述通道注意力机制为将通道注意力模块中的shared mlp替换为全连接层的通道注意力机制。

6.根据权利要求1所述的用于道路裂缝检测的可见光与红外光图像融合方法，其特征在于，所述纹理注意力机制包括：第二最大池化层、第二平均池化层、第七卷积层、相加操作、第四级联操作、第二sigmoid函数、soble操作、拉普拉斯操作、第一simam注意力操作和第二simam注意力操作；

7.根据权利要求1所述的用于道路裂缝检测的可见光与红外光图像融合方法，其特征在于，所述解码器包括依次连接的卷积块模块、第九卷积层和tanh激活函数；所述卷积块模块包括多个依次连接的第六卷积块。

8.根据权利要求7所述的用于道路裂缝检测的可见光与红外光图像融合方法，其特征在于，所述第一卷积块、所述第二卷积块、所述第三卷积块、所述第四卷积块、所述第五卷积块和所述第六卷积块均包括依次连接的第八卷积层、bn层和leaky relu激活函数。

9.一种计算机设备，包括：存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序以实现权利要求1-8中任一项所述的用于道路裂缝检测的可见光与红外光图像融合方法。

技术总结
本发明公开一种用于道路裂缝检测的可见光与红外光图像融合方法及设备，涉及图像融合技术领域。所述方法包括：将目标道路的可见光图像和目标道路的红外光图像输入图像融合网络得到目标道路的融合图像，图像融合网络为对基于多尺度特征提取的多路注意力生成对抗网络进行训练得到的；网络包括多尺度特征提取子网络、多注意力特征融合层、双鉴别器对抗生成网络层和拼接层；多尺度特征提取子网络包括依次连接的基于Nest连接的多尺度特征提取层和金字塔特征融合模块；多注意力特征融合层包括第一级联操作、强度路径、多尺度融合路径和梯度路径，双鉴别器对抗生成网络层包括两个鉴别器和解码器。本发明可得到边缘清晰且细节丰富的道路融合图像。

技术研发人员：王锋,杨娟娟,杨景玉,刘启明,赵思豪,岳彪,庞阳,张宁平,侯金泉
受保护的技术使用者：甘肃新网通科技信息有限公司
技术研发日：
技术公布日：2024/12/5