基于多尺度特征提取和边缘引导的渐进式壁画修复方法

本发明属于图像处理，特别涉及一种基于多尺度特征提取和边缘引导的渐进式壁画修复方法。

背景技术：

1、古代壁画受自然和人文环境，以及壁画制作材料和工艺内在因素的作用，不可避免的产生了各种病害，影响了壁画的保护与传承。因此，及时修复已发现的受损壁画对于最大程度地保留其经济和文化价值至关重要。

2、当前，可用于壁画修复相关技术主要分为三类：基于像素扩散的修复算法、基于样本匹配填充的修复算法以及基于深度学习的算法。前两类是传统修复算法，相关的研究已经相对成熟，改进较为困难，并且生成的图像质量远不如深度学习算法。而基于深度学习的壁画修复算法的主流算法又分成卷积神经网络和生成对抗生成网络。

3、卷积神经网络(cnn)的核心优势在于其对区域的感知以及权重的共享，利用卷积层和池化层来获取图像的特征，同时借助全连接层执行分类或者回归等操作。随着深度学习的逐步发展，卷积神经网络展现出了强大的性能，并且已经应用到图像修复任务当中，其中包括gl、pconv等方法。它们能够自动学习图像中的特征表示，通过反向传播算法和大量的训练数据，cnn可以学习到适合修复任务的特征表示，从而更好地恢复图像的细节和结构。但是，一方面，基于cnn的网络通常需要大量的训练数据才能获得良好的性能，对于壁画修复任务来说，获取大规模的壁画图像数据会很困难，这样就会导致对壁画图像进行修复时，生成的图像质量偏低；另一方面，基于cnn的方法随着网络层数的加深，可能会产生梯度消失的问题，致使深层网络的浅层参数几乎无法更新，因此无法捕捉细节和局部特征，导致生成的壁画图像存在语义不连贯和模糊伪影现象。

4、生成对抗网络(gan)在最近几年中在图像修复领域有着不俗的表现，基于gan的图像修复算法也层出不穷。通过生成器网络和判别器网络的对抗训练，gan可以学习到图像的分布，并生成具有细节和结构的修复图像。这使得gan在图像修复任务中能够产生更真实、自然的结果。但是，基于生成对抗网络的方法无法对结构的显著特征进行提取。且由于壁画相较于其他自然图像具有更复杂的结构和纹理，因此用于壁画修复的gan模型很少，究其原因在于gan的模型架构主要关注图像的整体分布和纹理，对于更高级的结构特征无法进行提取，并且gan没有显示约束或先验知识来指导对图像结构特征的提取，对于壁画这一类结构特征复杂的图像来说，捕获相对困难。由于缺乏对显著结构特征的提取，生成的图像存在边缘结构不完整现象，影响修复结果的清晰度。

技术实现思路

1、本发明的目的在于克服现有技术中存在的缺陷，提供了一种基于多尺度特征提取和边缘引导的渐进式壁画修复方法。

2、本发明提供了一种基于多尺度特征提取和边缘引导的渐进式壁画修复方法，包括以下步骤：

3、s1、建立生成对抗网络模型：

4、所述生成对抗网络模型包括粗网络、细网络和全局细化网络；

5、所述粗网络用于对壁画图像进行粗略恢复，得到粗略修复图像；

6、所述细网络用于对所述粗略修复图像进行边缘特征提取，并对提取结果利用壁画图像的边缘显著图进行边缘强化引导，得到局部细化修复图像；

7、所述全局细化网络对所述局部细化修复图像进行多尺度特征提取，以捕获更多全局特征；

8、s2、利用所述生成对抗网络模型进行壁画修复。

9、进一步的方案为，所述粗网络包括第一下采样模块和第一上采样模块，所述第一下采样模块和所述第一上采样模块跳跃连接将壁画图像信息从编码器传递到解码器。

10、进一步的方案为，所述细网络包括依次设置的边缘引导模块以及第二下采样模块、残差块和第二上采样模块；

11、所述边缘引导模块包括laplace边缘检测算子和边缘显著图，用于对粗略修复图像的边缘结构信息进行提取，获得边缘图；并利用所述边缘显著图对所述边缘图进行边缘强化引导，得到局部细化修复图像；

12、所述边缘显著图通过对壁画图像经深度卷积神经网络进行处理得到。

13、进一步的方案为，所述全局细化网络采用粗网络的网络架构，并引入了自注意力机制与多尺度特征提取模块，通过扩大神经元捕获信息的范围以捕获更多全局信息

14、进一步的方案为，所述多尺度特征提取模块包含反折叠与折叠操作，包括并行的五个卷积层，包含两个1*1的卷积和三个扩张率不同的扩张卷积，三个所述扩张卷积的扩张率分别为2、4、6。

15、进一步的方案为，所述s3.2中，细网络输入第一修复结果和随机掩膜后，在下采样之前对第一修复结果通过边缘引导模块进行边缘显著结构的提取，得到边缘引导图，将边缘引导图进行批归一化处理后与第一修复结果进行逐元素相加，经过两个上采样模块，四个残差块和两个下采样模块得到细网络的第二修复结果。

16、进一步的方案为，所述边缘引导模块获取边缘引导图ffused_image的过程为：

17、将第一修复结果通过laplace边缘检测算子进行边缘检测提取，得到边缘图fege_image；

18、同时通过类激活映射技术观察卷积层的权重，将最后一个卷积层的特征图与分类层的权重进行线性组合，生成显著图，计算过程表示为：

19、

20、其中wk表示为第k张特征图的权重，ak表示为第k张特征图；

21、通过resnet-50的最后一层卷积层输出的特征图生成显著图fsaliency_image；

22、所述边缘引导图是由边缘检测图fedge_map与显著图fsaliency_image进行逐像素的加权融合，其计算过程表示为：

23、ffused_image＝α×fedge_map+(1-α)fsaliency_map

24、其中α为权重系数，取值为α＝0.5。

25、进一步的方案为，所述s3.3中，将第二修复结果和随机掩膜作为全局细化网络的输入并通过八个下采样模块并在下采样模块最后一层利用多尺度特征提取模块捕捉不同尺度的特征信息，得到特征图，对特征图进行上采样，并在解码器前端添加了三个自注意力模块，通过扩大神经元捕获信息范围来捕获更多的全局信息。

26、进一步的方案为，步骤s3.5中，所述多尺度特征提取模块输出特征图的过程为：

27、将第二修复结果通过一个卷积核大小为3×3的卷积提取输入特征的浅层低级特征f0，表示为：

28、f0＝conv3×3(fin_feature)

29、将得到的特征图f0经过反折叠操作展开成一个高维特征矩阵，并通过5个并行的卷积层，其中这5个并行的卷积层分别表示为：

30、f1＝conv1×1(f0)

31、f2＝dconv3×3(f0,dilation＝2)

32、f3＝dconv3×3(f0,dilation＝4)

33、f4＝dconv3×3(f0,dilation＝6)

34、f5＝conv1×1(f0)

35、f6＝conv1×1(concat(f1,f2f3,f4,f5))

36、其中，fin_feature为输入的第二修复结果，dconv3×3(·)代表不同扩张率的扩张卷积，dilation代表扩张率，f1,f5表示普通卷积的输出特征，f2,f3,f4代表第1、2、3个扩张卷积的输出特征，f6表示将并行卷积层输出的特征图进行拼接后得到的特征图。

37、进一步的方案为，所述s1还包括，对建立的所述生成对抗网络模型进行训练。

38、与现有技术相比，本发明的有益效果在于：

39、(1)本发明利用边缘引导模块的优势，通过加权融合显著图与边缘检测图，能更好获取图像的显著结构特征，使生成图像的边缘结构更加连贯并且符合语义一致性。

40、(2)本发明引入多尺度特征提取模块，采用并行的五组卷积，包含普通卷积和不同扩张率的扩张卷积，对图像不同尺度的特征进行捕捉，通过对多尺度信息的利用恢复缺失生成图像的细节并改善图像的整体质量。

技术特征：

1.基于多尺度特征提取和边缘引导的渐进式壁画修复方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于多尺度特征提取和边缘引导的渐进式壁画修复方法，其特征在于，所述粗网络包括第一下采样模块和第一上采样模块，所述第一下采样模块和所述第一上采样模块跳跃连接将壁画图像信息从编码器传递到解码器。

3.根据权利要求2所述的基于多尺度特征提取和边缘引导的渐进式壁画修复方法，其特征在于，所述细网络包括依次设置的边缘引导模块以及第二下采样模块、残差块和第二上采样模块；

4.根据权利要求3所述的基于多尺度特征提取和边缘引导的渐进式壁画修复方法，其特征在于，所述全局细化网络采用粗网络的网络架构，并引入了自注意力机制与多尺度特征提取模块，通过扩大神经元捕获信息的范围以捕获更多全局信息。

5.根据权利要求4所述的基于多尺度特征提取和边缘引导的渐进式壁画修复方法，其特征在于，所述多尺度特征提取模块包含反折叠与折叠操作，包括并行的五个卷积层，包含两个1*1的卷积和三个扩张率不同的扩张卷积，三个所述扩张卷积的扩张率分别为2、4、6。

6.根据权利要求5所述的基于多尺度特征提取和边缘引导的渐进式壁画修复方法，其特征在于，所述s3.2中，细网络输入第一修复结果和随机掩膜后，在下采样之前对第一修复结果通过边缘引导模块进行边缘显著结构的提取，得到边缘引导图，将边缘引导图进行批归一化处理后与第一修复结果进行逐元素相加，经过两个上采样模块，四个残差块和两个下采样模块得到细网络的第二修复结果。

7.根据权利要求6所述的基于多尺度特征提取和边缘引导的渐进式壁画修复方法，其特征在于，所述边缘引导模块获取边缘引导图ffused_image的过程为：

8.根据权利要求7所述的基于多尺度特征提取和边缘引导的渐进式壁画修复方法，其特征在于，所述s3.3中，将第二修复结果和随机掩膜作为全局细化网络的输入并通过八个下采样模块并在下采样模块最后一层利用多尺度特征提取模块捕捉不同尺度的特征信息，得到特征图，对特征图进行上采样，并在解码器前端添加了三个自注意力模块，通过扩大神经元捕获信息范围来捕获更多的全局信息。

9.根据权利要求8所述的基于多尺度特征提取和边缘引导的渐进式壁画修复方法，其特征在于，步骤s3.5中，所述多尺度特征提取模块输出特征图的过程为：

10.根据权利要求1所述的基于多尺度特征提取和边缘引导的渐进式壁画修复方法，其特征在于，所述s1还包括，对建立的所述生成对抗网络模型进行训练。

技术总结
本发明属于图像处理技术领域，具体公开了基于多尺度特征提取和边缘引导的渐进式壁画修复方法，包括：采集壁画图像，得到壁画数据集；建立生成对抗网络模型，其中，粗网络为带跳跃连接的编解码器结构；细网络引入图像边缘信息，用于加强图像的结构信息；全局细化网络引入了自注意力机制与多尺度特征提取模块，捕获更多全局信息；训练生成对抗网络模型：采用壁画数据集的训练集对生成对抗网络模型进行训练，得到三阶段网络的生成对抗模型；采用训练后的生成对抗模型对测试集进行修复。本发明利用边缘引导模块的优势，通过加权融合显著图与边缘检测图，能更好获取图像的显著结构特征，使生成图像的边缘结构更加连贯并且符合语义一致性。

技术研发人员：屈书毅,王立斌,余喆,胡琦瑶,王珺,赵万青
受保护的技术使用者：西北大学
技术研发日：
技术公布日：2024/12/5