基于超分辨率的人脸局部显著性区域补全方法
本发明涉及的是一种图像处理领域的技术，具体是一种基于超分辨率的人脸局部显著性区域补全方法。
背景技术：
1、现有人脸图像处理技术得到的人脸纹理信息清晰度不足，并且不具备保存身份信息的功能，因此并不能准确恢复遮挡人脸图像的被遮挡部分的信息；此外，在恢复被遮挡低分辨率人脸图像时，并不能有效恢复人脸显著性区域，生成图像的纹理细节过于平滑；现有基于深度学习的图像补全方法大都忽视了建立像素间的远距离信息交互，导致这些模型处理大面积缺失时效果不佳、生成图像整体契合度不足。现有通过融合不同尺度特征来保留图像细节信息的技术则忽略了各尺度贡献的差异，使得模型精度不足、导致生成结果产生可观的伪影误差。
技术实现思路
1、本发明针对现有技术生成的人脸图像保真度差，对于人脸显著性区域(眼睛、鼻子、嘴巴)这种纹理细节非常丰富地方，无法生成与地面真实图像相似的纹理的不足以及针对低分辨率遮挡人脸图像时无法进行恢复的缺陷，提出一种基于超分辨率的人脸局部显著性区域补全方法，通过一个单一模型同时解决人脸显著性区域遮挡及超分辨率重建图像问题，实现从显著性区域遮挡及大规模下采样中恢复图像，并提高人脸图像恢复纹理细节及保真度，减小生成图像与现实世界图像之间的域差，能够容易地使超分辨率(sr)模型适应真实的lr数据。
2、本发明是通过以下技术方案实现的：
3、本发明涉及一种基于超分辨率的人脸局部显著性区域补全方法，在离线阶段分别①对公开数据集进行预处理并生成遮挡训练集，用于对人脸显著性区域补全网络模型中的人脸补全生成器进行预训练；②采用公开数据集训练人脸解析网络，用于人脸超分辨率重建生成器的辅助训练；然后固定预训练后的人脸补全生成器的网络参数，依次对人脸显著性区域补全网络模型中的超分辨率重建生成器和鉴别器进行训练，最后对人脸显著性区域补全网络模型进行整体训练；在在线阶段采用训练后的人脸显著性区域补全网络模型对实时收到的图像进行人脸补全处理。
4、所述的公开数据集，采用但不限于helen数据集以及celeba数据集。
5、所述的预处理是指：根据公开数据集中提供的人脸图像中眼睛、鼻子及嘴巴的位置，对该数据集中的人脸图像进行剪裁和对齐。
6、所述的遮挡训练集，通过将公开训练集中的高清人脸图像处理为有大小不同遮挡块的32×32分辨率人脸图像，具体为：对高清人脸图像先进行双三次下采样操作，得到32×32分辨率人脸图像，再对其进行大小、位置各不相同的遮挡操作，得到带有相对于面部区域来说不同大小遮挡块的低分辨率人脸图像；将有遮挡块的低分辨率人脸图像进行随机翻转、旋转操作进行数据增强，得到具有人脸显著性区域遮挡的低分辨率人脸图像。
7、所述的预训练是指：将预处理后的公开数据集和遮挡训练集输入人脸补全生成器，以风格损失、感知损失、像素损失、平滑损失加权后得到预训练损失函数，具体为：其中：为加权参数，i＝1、2、3、…、6，为风格损失，为感知损失，为像素损失，为平滑损失。
8、优选地，所述的加权参数
9、所述的基于超分辨率的人脸显著性区域补全网络模型包括：一个人脸补全生成器、一个超分辨率重建生成器和一个鉴别器，其中：人脸补全生成器根据输入的有遮挡的人脸低分辨率图像，进行补全处理并生成无遮挡的低分辨率人脸图像，超分辨率重建生成器根据补全后的低分辨率人脸图像，进行超分辨率重建处理，得到高分辨率的无遮挡人脸图像，鉴别器根据生成的高分辨率人脸图像和真实高分辨率人脸图像，进行判别处理，得到判别结果，用于指导生成器的训练。
10、所述的人脸补全生成器包括：光谱归一化模块、卷积层、编码器、金字塔注意力模块、解码器、残差块、卷积层以及relu激活函数，其中：光谱归一化模块根据输入的低分辨率有遮挡的人脸图像，进行光谱归一化处理，得到归一化后的结果；卷积层根据归一化后的图像，进行卷积处理，提取特征，得到特征图；编码器根据卷积层提取的特征图，进行编码处理，进一步压缩特征图，得到编码后的特征图；金字塔注意力模块根据编码器输出的特征图，提取显著的人脸关键特征信息，得到增强的特征图；解码器根据金字塔注意力模块输出的增强特征图，进行解码处理，恢复特征图的原始大小，得到解码后的特征图；残差块根据解码后的特征图，进行残差处理，进一步提升特征的表示能力；卷积层及relu激活函数根据残差块输出的特征图，进行卷积和激活处理，得到最终的补全结果。
11、所述的超分辨率重建生成器包括：光谱归一化模块、卷积层、平均池化层、编码器、残差网络、上采样模块，其中：光谱归一化模块根据补全后的低分辨率人脸图像，进行光谱归一化处理，得到归一化后的图像；卷积层根据归一化后的图像，进行卷积处理，提取特征，得到特征图；平均池化层根据卷积层提取的特征图，进行下采样处理，得到低维特征图；编码器根据低维特征图，进行编码处理，进一步压缩特征图，得到编码后的深层特征；残差网络根据深层特征信息，进行残差处理，进一步提升特征的表示能力，残差网络中使用了跳跃连接，通过将输入直接与输出相加，以保留输入的特征信息，得到增强的特征图；上采样模块根据残差网络输出的特征图，进行上采样处理，得到高分辨率图像。
12、所述的超分辨率重建生成器，采用补全后的低分辨率人脸图像作为输入，以对抗损失、人脸先验损失、感知损失、像素损失、平滑损失及身份损失加权后得到损失函数，通过最小化生成对抗损失以学习生成更逼真的图像，使得判别器无法准确地区分生成图像和真实图像，具体为：其中：为加权参数，i＝1、2、3、…、6，为人脸先验损失，为生成对抗损失，为感知损失，为像素损失，为平滑损失，为身份损失。
13、所述的加权参数，优选为
14、所述的生成对抗损失，具体为：其中：pdata(x)表示真实人脸图像的分布，pz(z)表示遮挡后的人脸图像，x表示像素值在0到255之间的人脸图像数据，从真实人脸图像分布pdata(x)中采样得到，z表示随机噪声，从pz(z)中采样得到，噪声即生成器g的输入，用于生成数据样本，g(z)表示生成器g以噪声z为输入生成的数据样本，g表示生成器，d表示判别器。
15、所述的辅助训练是指：使用helen数据集预先训练好人脸解析网络，利用训练后的人脸解析网络生成celeba现实世界人脸图像的人脸解析图输入人脸超分辨率重建生成器进行辅助训练。
16、所述的整体训练是指：将生成器及鉴别器联合起来进行交替训练，使用了生成对抗损失、感知损失、人脸先验损失和身份损失损失函数，并进行反向传播及参数更新。
17、所述的风格损失其中：kn为第n层vgg-19的归一化因子1/(cn·hn·wn)；cn、hn、wn分别为特征图的通道数、高度和宽度。和分别表示无遮挡的地面真实低分辨率人脸图像和无遮挡的地面真实高分辨率人脸图像。ilr表示生成的低分辨率人脸图像，由原始图像经处理得到，ihr表示生成的高分辨率人脸图像，由生成的低分辨率人脸图像经处理得到。i′lr表示在处理过程中生成的中间低分辨率人脸图像。
18、所述的像素损失其中：||·||为l1范数，和分别表示无遮挡的地面真实低分辨率人脸图像和无遮挡的地面真实高分辨率人脸图像。ilr表示生成的低分辨率人脸图像，由原始图像经处理得到，ihr表示生成的高分辨率人脸图像，由生成的低分辨率人脸图像经处理得到。
19、所述的感知损失
20、
21、其中：φ为在imagenet网络训练的vgg-19，φi,j表示第i个max池化层之前的第j个卷积层的特征映射；wi，j和hi，j表示特征映射的维度。n是图像在批次中的索引，其范围从0到n-1，其中n是批次中的图像数量。
22、所述的平滑损失
23、
24、其中：w和h分别为生成器g恢复的人脸图像的宽度和高度，i的范围是0到h-1，j的范围是0到w-1。
25、所述的人脸先验损失其中：ilandmark_p、ilandmark_gt、iparsing_p和iparsing_gt分别表示生成的人脸图像预测的人脸地标热图、现实世界人脸图像预测的人脸地标热图、生成的人脸图像预测的人脸解析图和现实世界人脸图像预测的人脸解析图，||·||2表示l2范数，α和β的值需要通过超参数调优来确定，在迭代训练的过程中不断调整确定最优值。
26、优选地，α和β为0.1到10之间。
27、所述的身份损失其中：cnne(isr)和是模型cnne提取的图像isr和的同一性特征，||·||2表示l2范数。
28、技术效果
29、本发明在人脸补全生成器中使用了上下文编码器的同时在其中加入了金字塔注意力机制；在人脸超分辨率重建生成器中使用了编码器及残差网络，其中加入的编码器结构能够对人脸高级特征进行编码以增强语义信息；在编码器中使用了残差结构并加入了最大平均池化层，在保留特征的同时更好的学习到残差信息；与现有技术相比，本发明能够更好的利用上下文特征对人脸五官等显著性区域进行多尺度信息提取，提高对人脸五官的补全恢复效果，帮助人脸超分辨率重建部分提取更多有益信息；帮助后续的残差网络提取更多的人脸五官显著性纹理信息。增强网络的非线性表达能力，提高网络的表达能力，深层次的特征提取能够更好的帮助生成器生成更精细的面部五官细节，使得恢复图像有着良好的视觉效果。
技术特征：
1.一种基于超分辨率的人脸局部显著性区域补全方法，其特征在于，在离线阶段分别①对公开数据集进行预处理并生成遮挡训练集，用于对人脸显著性区域补全网络模型中的人脸补全生成器进行预训练；②采用公开数据集训练人脸解析网络，用于人脸超分辨率重建生成器的辅助训练；然后固定预训练后的人脸补全生成器的网络参数，依次对人脸显著性区域补全网络模型中的超分辨率重建生成器和鉴别器进行训练，最后对人脸显著性区域补全网络模型进行整体训练；在在线阶段采用训练后的人脸显著性区域补全网络模型对实时收到的图像进行人脸补全处理；
2.根据权利要求1所述的基于超分辨率的人脸局部显著性区域补全方法，其特征是，所述的预处理是指：根据公开数据集中提供的人脸图像中眼睛、鼻子及嘴巴的位置，对该数据集中的人脸图像进行剪裁和对齐。
3.根据权利要求1所述的基于超分辨率的人脸局部显著性区域补全方法，其特征是，所述的遮挡训练集，通过将公开训练集中的高清人脸图像处理为有大小不同遮挡块的32×32分辨率人脸图像，具体为：对高清人脸图像先进行双三次下采样操作，得到32×32分辨率人脸图像，再对其进行大小、位置各不相同的遮挡操作，得到带有相对于面部区域来说不同大小遮挡块的低分辨率人脸图像；将有遮挡块的低分辨率人脸图像进行随机翻转、旋转操作进行数据增强，得到具有人脸显著性区域遮挡的低分辨率人脸图像。
4.根据权利要求1所述的基于超分辨率的人脸局部显著性区域补全方法，其特征是，所述的预训练是指：将预处理后的公开数据集和遮挡训练集输入人脸补全生成器，以风格损失、感知损失、像素损失、平滑损失加权后得到预训练损失函数，具体为：
5.根据权利要求1所述的基于超分辨率的人脸局部显著性区域补全方法，其特征是，所述的超分辨率重建生成器包括：光谱归一化模块、卷积层、平均池化层、编码器、残差网络、上采样模块，其中：光谱归一化模块根据补全后的低分辨率人脸图像，进行光谱归一化处理，得到归一化后的图像；卷积层根据归一化后的图像，进行卷积处理，提取特征，得到特征图；平均池化层根据卷积层提取的特征图，进行下采样处理，得到低维特征图；编码器根据低维特征图，进行编码处理，进一步压缩特征图，得到编码后的深层特征；残差网络根据深层特征信息，进行残差处理，进一步提升特征的表示能力，残差网络中使用了跳跃连接，通过将输入直接与输出相加，以保留输入的特征信息，得到增强的特征图；上采样模块根据残差网络输出的特征图，进行上采样处理，得到高分辨率图像。
6.根据权利要求1所述的基于超分辨率的人脸局部显著性区域补全方法，其特征是，所述的生成对抗损失，具体为：其中：pdata(x)表示真实人脸图像的分布，pz(z)表示遮挡后的人脸图像，x表示像素值在0到255之间的人脸图像数据，从真实人脸图像分布pdata(x)中采样得到，z表示随机噪声，从pz(z)中采样得到，噪声即生成器g的输入，用于生成数据样本，g(z)表示生成器g以噪声z为输入生成的数据样本，g表示生成器，d表示判别器。
7.根据权利要求1所述的基于超分辨率的人脸局部显著性区域补全方法，其特征是，所述的辅助训练是指：使用helen数据集预先训练好人脸解析网络，利用训练后的人脸解析网络生成celeba现实世界人脸图像的人脸解析图输入人脸超分辨率重建生成器进行辅助训练；
8.根据权利要求1或7所述的基于超分辨率的人脸局部显著性区域补全方法，其特征是，所述的人脸先验损失其中：ilandmark_p、ilandmark_gt、iparsing_p和iparsing_gt分别表示生成的人脸图像预测的人脸地标热图、现实世界人脸图像预测的人脸地标热图、生成的人脸图像预测的人脸解析图和现实世界人脸图像预测的人脸解析图，∥·∥2表示l2范数，α和β的值需要通过超参数调优来确定，在迭代训练的过程中不断调整确定最优值；
9.根据权利要求4或7所述的基于超分辨率的人脸局部显著性区域补全方法，其特征是，所述的风格损失其中：kn为第n层vgg-19的归一化因子1/(cn·hn·wn)；cn、hn、wn分别为特征图的通道数、高度和宽度，和分别表示无遮挡的地面真实低分辨率人脸图像和无遮挡的地面真实高分辨率人脸图像，ilr表示生成的低分辨率人脸图像，由原始图像经处理得到，ihr表示生成的高分辨率人脸图像，由生成的低分辨率人脸图像经处理得到，i′lr表示在处理过程中生成的中间低分辨率人脸图像；
技术总结
一种基于超分辨率的人脸局部显著性区域补全方法，分别①对公开数据集进行预处理并生成遮挡训练集，用于对人脸显著性区域补全网络模型中的人脸补全生成器进行预训练；②采用公开数据集训练人脸解析网络，用于人脸超分辨率重建生成器的辅助训练；然后固定预训练后的人脸补全生成器的网络参数，依次对人脸显著性区域补全网络模型中的超分辨率重建生成器和鉴别器进行训练，最后对人脸显著性区域补全网络模型进行整体训练；本发明通过一个单一模型同时解决人脸显著性区域遮挡及超分辨率重建图像问题，实现从显著性区域遮挡及大规模下采样中恢复图像，并提高人脸图像恢复纹理细节及保真度，减小生成图像与现实世界图像之间的域差，能够容易地使超分辨率(SR)模型适应真实的LR数据。
技术研发人员：任国印,于芷杰,王静宇,张宝华,梁琪,吕晓琪,姜博,李龚,郭棋丹,关昊亮
受保护的技术使用者：内蒙古科技大学
技术研发日：
技术公布日：2024/12/5