基于模态转换的红外与可见光图像配准方法及系统

本发明涉及图像处理，更具体的说是涉及一种基于模态转换的红外与可见光图像配准方法及系统。

背景技术：

1、可见光图像和红外图像在成像领域中各有其独特优势和特点，融合红外与可见光图像有助于获得更加充实的信息、增强图像的识别度、提高目标检测和识别的精准度和效率。

2、不同传感器的特性和使用环境差异导致红外图像和可见光图像在波段、成像条件等方面存在明显差异，使得它们在几何形态上不一致。这种不一致性涉及位置、尺度、旋转、变形等多个方面，导致难以精确地将它们对齐在同一对极线上，这种情况会引起视差和残留失真，进而影响图像质量和准确性，直接融合或比对两者变得具有挑战性，光谱差异使红外和可见光图像难以精准对齐。然而目前的神经网络对不同模态图像的配准精度不足，如何提高红外与可见光图像的配准精度成为本领域技术人员亟需解决的技术问题。

技术实现思路

1、有鉴于此，本发明提供了一种基于模态转换的红外与可见光图像配准方法及系统，网络结构简单，且能加强对特征的提取能力，提高红外与可见光图像的配准精度。

2、为了实现上述目的，本发明采用如下技术方案：

3、第一方面，本发明提供一种基于模态转换的红外与可见光图像配准方法，包括以下步骤：

4、构建图像配准模型，所述图像配准模型包括模态转换网络、特征提取网络和匹配及回归网络；

5、在训练阶段，获取红外图像i和可见光图像v，在对可见光图像v进行特征提取之前，通过所述模态转换网络对其进行模态转换操作，生成对应的伪红外图像p；

6、将红外图像i和伪红外图像p分别输入所述特征提取网络，依次进行浅层特征提取和深层特征提取，得到各自对应的特征图；

7、将红外图像i的特征图与伪红外图像p的特征图输入所述匹配及回归网络，进行匹配和几何变换参数预测；

8、满足预设的训练目标后，得到最终的图像配准模型。

9、进一步的，所述模态转换网络采用pix2pix模型将可见光图像转换为伪红外图像。

10、进一步的，所述特征提取网络包括两个支路，两个支路分别对红外图像i和伪红外图像p进行特征提取，每个支路中分别包括浅层特征提取模块和深层特征提取模块；

11、所述浅层特征提取模块包括一层卷积层和一层池化层；

12、所述深层特征提取模块以resnext作为基础网络，在每个残差块后添加改进后的bam注意力单元；

13、所述bam注意力单元包括通道注意力和空间注意力两个分支，对其进行改进的过程包括：

14、在bam注意力单元的通道注意力分支中原平均池化层的基础上添加一个最大池化层，并在两个全连接层之间添加一个普通3×3卷积和relu激活函数；

15、将通道注意力方向与空间注意力方向的注意力分离后，采取元素相加的方法将两个分支的注意图合并，再通过一个sigmoid函数得到总注意图；

16、添加一个残差连接，将总注意图与输入的浅层特征图进行元素级相加，得到最终特征图。

17、进一步的，最终特征图的计算公式为：

18、

19、其中，f'表示输入匹配及回归网络中的最终特征图，f表示输入的浅层特征图，m(f)表示总注意图；

20、总注意图m(f)的计算公式为：

21、m(f)＝σ(mc(f)+ms(f))

22、其中，mc(f)表示通道注意方向分支的输出结果，ms(f)表示空间注意方向分支的输出结果，σ表示sigmoid函数。

23、进一步的，所述匹配及回归网络先通过匹配函数计算红外图像和伪红外图像之间的密集对应映射，再通过回归网络估计密集对应映射的几何变换参数。

24、进一步的，通过匹配函数对红外图像特征图fi到伪红外图像特征图fp的密集对应映射的计算公式为：

25、ci→p(i,j,k)＝c(fi(ik,jk),fp(i,j))＝fp(i,j)tfi(ik,jk)

26、其中，(i,j)和(ik,jk)分别表示配准点对在红外图像特征图fi和伪红外图像特征图fp中的坐标；k表示特征点(ik,jk)的辅助索引；ci→p表示红外图像特征映射fi和伪红外图像特征映射fp之间的密集对应映射，由fi和fp相乘得到。

27、进一步的，通过回归网络对密集对应映射的几何变换参数的计算公式为：

28、r:rh′×w′×(h′×w′)→rdof

29、其中，(h',w')表示密集对应映射的高度和宽度，dof表示放射变换模型的自由度，r表示回归网络。

30、第二方面，本发明提供一种基于模态转换的红外与可见光图像配准系统，包括：

31、获取模块，用于获取红外图像和可见光图像；

32、配准模块，用于采用如上所述的基于模态转换的红外与可见光图像配准方法训练出的图像配准模型对红外图像和可见光图像进行配准。

33、第三方面，本发明提供一种电子设备，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序；所述处理器执行所述计算机程序时，实现如上所述的基于模态转换的红外与可见光图像配准方法的步骤。

34、第四方面，本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现如上所述的基于模态转换的红外与可见光图像配准方法的步骤。

35、经由上述的技术方案可知，与现有技术相比，本发明具有以下有益效果：

36、本发明对可见光图像和红外红线进行特征提取前，先将可见光图像模态转换生成伪红外图像，以拉近红外和可见光图像间的模态差异。在特征提取阶段，依次对红外图像i和伪红外图像进行浅层特征和深层特征的提取，以保留图像中更多的特征，提高红外图像和可见光图像的配准精度。

37、本发明在特征提取阶段，在原bam注意力的基础上对其通道分支进行改进，优化特征提取性能，有效提升模型的特征提取能力。

技术特征：

1.一种基于模态转换的红外与可见光图像配准方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于模态转换的红外与可见光图像配准方法，其特征在于，所述模态转换网络采用pix2pix模型将可见光图像转换为伪红外图像。

3.根据权利要求1所述的基于模态转换的红外与可见光图像配准方法，其特征在于，所述特征提取网络包括两个支路，两个支路分别对红外图像i和伪红外图像p进行特征提取，每个支路中分别包括浅层特征提取模块和深层特征提取模块；

4.根据权利要求3所述的基于模态转换的红外与可见光图像配准方法，其特征在于，最终特征图的计算公式为：

5.根据权利要求1所述的基于模态转换的红外与可见光图像配准方法，其特征在于，所述匹配及回归网络先通过匹配函数计算红外图像和伪红外图像之间的密集对应映射，再通过回归网络估计密集对应映射的几何变换参数。

6.根据权利要求5所述的基于模态转换的红外与可见光图像配准方法，其特征在于，通过匹配函数对红外图像特征图fi到伪红外图像特征图fp的密集对应映射的计算公式为：

7.根据权利要求5所述的基于模态转换的红外与可见光图像配准方法，其特征在于，通过回归网络对密集对应映射的几何变换参数的计算公式为：

8.一种基于模态转换的红外与可见光图像配准系统，其特征在于，包括：

9.一种电子设备，包括：存储器、处理器和存储在所述存储器上并可在所述处理器上运行的计算机程序；其特征在于，所述处理器执行所述计算机程序时，实现如权利要求1-7任一项所述的基于模态转换的红外与可见光图像配准方法的步骤。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现如权利要求1-7任一项所述的基于模态转换的红外与可见光图像配准方法的步骤。

技术总结
本发明涉及图像处理技术领域，具体涉及一种基于模态转换的红外与可见光图像配准方法及系统，方法包括：构建图像配准模型，模型包括模态转换网络、特征提取网络和匹配及回归网络；在训练阶段，获取红外图像和可见光图像，在对可见光图像进行特征提取之前，通过模态转换网络对其进行模态转换操作，生成对应的伪红外图像；将红外图像和伪红外图像分别输入特征提取网络，依次进行浅层特征提取和深层特征提取，得到各自对应的特征图，之后输入所述匹配及回归网络，进行匹配和几何变换参数预测；满足预设的训练目标后，得到最终的图像配准模型。本发明的网络结构简单，且能加强对特征的提取能力，提高红外与可见光图像的配准精度。

技术研发人员：胡蕾,方竞鹏,徐睿
受保护的技术使用者：江西师范大学
技术研发日：
技术公布日：2024/12/5