一种高分辨率图像重建方法、装置与流程

1.本发明涉及一图像重建技术领域，尤其涉及一种高分辨率图像重建方法、装置。


背景技术：

2.图像高分辨率重建技术就是利用一组低质量、低分辨率图像(或运动序列)来产生单幅高质量、高分辨率图像。图像高分辨率重建应用领域及其宽广，在军事，医学，公共安全，计算机视觉等方面都存在着重要的应用前景。在计算机视觉领域，图像高分辨率重建技术有可能使图像实现从检出水平(detection level)向识别水平(recognition level)的转化，或更进一步实现向细辨水平(identification level)的转化。图像高分辨率重建技术可以提高图像的识别能力和识别精度。图像高分辨率重建技术可以实现目标物的专注分析，从而可以获取感兴趣区域更高空间分辨率的图像，而不必直接采用数据量巨大的高空间分辨率图像的配置。
3.基于重建的高分辨率方法的基础是均衡及非均衡采样定理。它假设低分辨率的输入采样信号(图像)能很好地预估出原始的高分辨率信号(图像)。绝大多数高分辨率算法都属于这一类，其中主要包括频域法和空域法。而现有技术的重建技术，主要进行插值，其并针对不同的图像颜色通道执行相应的重建，导致重建效果差，且对于局部细节的重建也不突出，从而存在图像高分辨率重建效果不佳的技术问题。


技术实现要素：

4.有鉴于此，本发明提供了一种高分辨率图像重建方法、装置，通过在进行图像高分辨率重建时，一方面基于颜色信息对于主图像进行重建，针对不同光线对于图像的不同颜色通道的影响进行分别重建；另一方面，为了保留细节，对于图像的局部特征区域进行重建，从而解决图像高分辨率重建效果不佳的技术问题。
5.本发明的技术方案如下：
6.一种高分辨率图像重建方法，包括如下步骤：
7.s1，获取原始图像，进行上采样，得到对应的插值图像；
8.s2，分别对所述插值图像的y通道子图像、cb通道子图像、cr通道子图像进行高分辨率重建，得到第一重建图像；
9.s3，对所述插值图像进行特征检测，获取至少一个特征区域；并对所述特征区域进行剪裁，获取特征区域图像；
10.s4，将所述特征区域图像分别输入对应的对抗生成网络gan，得到至少一个特征区域重建图像；
11.s4，将所述至少一个特征区域重建图像与所述第一重建图像进行拼接，得到最终重建图像。
12.优选的，所述获取原始图像，进行上采样，得到对应的插值图像，包括：基于预设的放大倍率，对所述原始图像进行上采样操作。
13.优选的，所述分别对所述插值图像的y通道子图像、cb通道子图像、cr通道子图像进行高分辨率重建，得到第一重建图像，包括：
14.将所述y通道子图像、cb通道子图像、cr通道子图像分别输入对应的y通道全图像对抗生成网络gan、cb通道全图像对抗生成网络gan、cr通道全图像对抗生成网络gan，形成对应的高分辨率重建图，以为得到全图像的第一重建图像。
15.优选的，还包括：预先基于特征区域图像的训练样本，进行训练得到与所述特征区域图像对应的对抗生成网络gan。
16.此外，本发明还提出一种高分辨率图像重建装置，其特征在于，包括如下模块：
17.插值模块，获取原始图像，进行上采样，得到对应的插值图像；
18.第一重建模块，分别对所述插值图像的y通道子图像、cb通道子图像、cr通道子图像进行高分辨率重建，得到第一重建图像；
19.获取模块，对所述插值图像进行特征检测，获取至少一个特征区域；并对所述特征区域进行剪裁，获取特征区域图像；
20.第二重建模块，将所述特征区域图像分别输入对应的对抗生成网络gan，得到至少一个特征区域重建图像；
21.拼接模块，将所述至少一个特征区域重建图像与所述第一重建图像进行拼接，得到最终重建图像。
22.优选的，所述获取原始图像，进行上采样，得到对应的插值图像，包括：基于预设的放大倍率，对所述原始图像进行上采样操作。
23.优选的，所述分别对所述插值图像的y通道子图像、cb通道子图像、cr通道子图像进行高分辨率重建，得到第一重建图像，包括：
24.将所述y通道子图像、cb通道子图像、cr通道子图像分别输入对应的y通道全图像对抗生成网络gan、cb通道全图像对抗生成网络gan、cr通道全图像对抗生成网络gan，形成对应的高分辨率重建图，以为得到全图像的第一重建图像。
25.优选的，还包括：预先基于特征区域图像的训练样本，进行训练得到与所述特征区域图像对应的对抗生成网络gan。
26.在本发明实施例的方案中，高分辨率图像重建方法、装置，通过获取原始图像，进行上采样，得到对应的插值图像；分别对所述插值图像的y通道子图像、cb通道子图像、cr通道子图像进行高分辨率重建，得到第一重建图像；对所述插值图像进行特征检测，获取至少一个特征区域；并对所述特征区域进行剪裁，获取特征区域图像；将所述特征区域图像分别输入对应的对抗生成网络gan，得到至少一个特征区域重建图像；将所述至少一个特征区域重建图像与所述第一重建图像进行拼接，得到最终重建图像。本发明，通过在进行图像高分辨率重建时，一方面基于颜色信息对于主图像进行重建，针对不同光线对于图像的不同颜色通道的影响进行分别重建；另一方面，为了保留细节，对于图像的局部特征区域进行重建，从而进一步保证了图像高分辨率重建效果。
附图说明
27.图1为本发明实施例一高分辨率图像重建方法流程图；
28.图2为本发明实施例二高分辨率图像重建装置结构图；
具体实施方式
29.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
30.实施例一
31.本发明实施一种高分辨率图像重建方法，包括如下步骤：
32.s1，获取原始图像，进行上采样，得到对应的插值图像；
33.优选的，所述获取原始图像，进行上采样，得到对应的插值图像，包括：基于预设的放大倍率，对所述原始图像进行上采样操作。
34.具体地，具体插值的方式，可以根据预设放大的倍率，执行最近邻插值法进行插值；或者采用双线性插值法、双三次插值法进行插值。
35.s2，分别对所述插值图像的y通道子图像、cb通道子图像、cr通道子图像进行高分辨率重建，得到第一重建图像；
36.优选的，所述分别对所述插值图像的y通道子图像、cb通道子图像、cr通道子图像进行高分辨率重建，得到第一重建图像，包括：
37.将所述y通道子图像、cb通道子图像、cr通道子图像分别输入对应的y通道全图像对抗生成网络gan、cb通道全图像对抗生成网络gan、cr通道全图像对抗生成网络gan，形成对应的高分辨率重建图，以为得到全图像的第一重建图像。
38.具体地，对于插值后的插值图像进行颜色空间的转换，rgb颜色空间至ycbcr颜色空间的转换公式如下：
[0039][0040]
依次，根据上述公式，获得插值图像对应的y通道子图像、cb通道子图像、cr通道子图像。
[0041]
生成对抗网络gan，顾名思义，包含两个部分，即生成网络和判别网络。生成网络的主要作用就是用来生成高分辨率图像，而判别网络则是对生成网络输出的高分辨率图像进行把关，其主要任务就是判别输入图像是否是原图像还是生成网络生成的图像，若生成网络生成的图像能够成功骗过判别网络的时候，输入判别网络的图像就可以作为高分辨率后的图像输出。事先先获取插值图像的若干样本，并生成相应的y通道子图像样本、cb通道子图像样本、cr通道子图像样本，从而进行网络训练，得到对应的y通道全图像对抗生成网络gan、cb通道全图像对抗生成网络gan、cr通道全图像对抗生成网络gan。
[0042]
进行具体的通道子图像高分辨率重建时，进行将各个将所述y通道子图像、cb通道子图像、cr通道子图像分别输入对应的y通道全图像对抗生成网络gan、cb通道全图像对抗生成网络gan、cr通道全图像对抗生成网络gan，形成对应的高分辨率重建图，并基于各个通道重建后的子图像形成全图像对应的第一重建图像。
[0043]
s3，对所述插值图像进行特征检测，获取至少一个特征区域；并对所述特征区域进
行剪裁，获取特征区域图像；
[0044]
具体地，如果针对的是人脸图像，通过对于人脸图像插值后的插值图形，进行包括眼睛、鼻子、嘴巴等区域的特征检测，获得相应的眼睛、鼻子、嘴巴的特征区域，并进行剪裁，得到相应的特征区域图像。如果针对的是人体图像，可以识别人体的上半身，下半身的特征检测，获得相应的上半身，下半身的特征区域，并进行剪裁，得到相应的特征区域图像。
[0045]
s4，将所述特征区域图像分别输入对应的对抗生成网络gan，得到至少一个特征区域重建图像；
[0046]
优选的，还包括：预先基于特征区域图像的训练样本，进行训练得到与所述特征区域图像对应的对抗生成网络gan。这里，具体地，事先先获取若干特征区域图像的样本，并生成相应的特征区域样本，从而进行网络训练，得到对应的对抗生成网络gan。进行具体的通道子图像高分辨率重建时，
[0047]
进行将各个特征区域图像分别输入对应的对抗生成网络gan，形成对应的特征区域重建图像。
[0048]
s4，将所述至少一个特征区域重建图像与所述第一重建图像进行拼接，得到最终重建图像。
[0049]
具体地，可以采用直接基于进行替换图像块的方式，将特征区域重建图像叠加到第一重建图像之上。
[0050]
实施例二
[0051]
本发明实施一种高分辨率图像重建装置，其特征在于，包括如下模块：
[0052]
插值模块，获取原始图像，进行上采样，得到对应的插值图像；
[0053]
优选的，所述获取原始图像，进行上采样，得到对应的插值图像，包括：基于预设的放大倍率，对所述原始图像进行上采样操作。
[0054]
具体地，具体插值的方式，可以根据预设放大的倍率，执行最近邻插值法进行插值；或者采用双线性插值法、双三次插值法进行插值。
[0055]
第一重建模块，分别对所述插值图像的y通道子图像、cb通道子图像、cr通道子图像进行高分辨率重建，得到第一重建图像；
[0056]
优选的，所述分别对所述插值图像的y通道子图像、cb通道子图像、cr通道子图像进行高分辨率重建，得到第一重建图像，包括：
[0057]
将所述y通道子图像、cb通道子图像、cr通道子图像分别输入对应的y通道全图像对抗生成网络gan、cb通道全图像对抗生成网络gan、cr通道全图像对抗生成网络gan，形成对应的高分辨率重建图，以为得到全图像的第一重建图像。
[0058]
具体地，对于插值后的插值图像进行颜色空间的转换，rgb颜色空间至ycbcr颜色空间的转换公式如下：
[0059][0060]
依次，根据上述公式，获得插值图像对应的y通道子图像、cb通道子图像、cr通道子图像。
[0061]
生成对抗网络gan，顾名思义，包含两个部分，即生成网络和判别网络。生成网络的主要作用就是用来生成高分辨率图像，而判别网络则是对生成网络输出的高分辨率图像进行把关，其主要任务就是判别输入图像是否是原图像还是生成网络生成的图像，若生成网络生成的图像能够成功骗过判别网络的时候，输入判别网络的图像就可以作为高分辨率后的图像输出。事先先获取插值图像的若干样本，并生成相应的y通道子图像样本、cb通道子图像样本、cr通道子图像样本，从而进行网络训练，得到对应的y通道全图像对抗生成网络gan、cb通道全图像对抗生成网络gan、cr通道全图像对抗生成网络gan。
[0062]
进行具体的通道子图像高分辨率重建时，进行将各个将所述y通道子图像、cb通道子图像、cr通道子图像分别输入对应的y通道全图像对抗生成网络gan、cb通道全图像对抗生成网络gan、cr通道全图像对抗生成网络gan，形成对应的高分辨率重建图，并基于各个通道重建后的子图像形成全图像对应的第一重建图像。
[0063]
获取模块，对所述插值图像进行特征检测，获取至少一个特征区域；并对所述特征区域进行剪裁，获取特征区域图像；
[0064]
具体地，如果针对的是人脸图像，通过对于人脸图像插值后的插值图形，进行包括眼睛、鼻子、嘴巴等区域的特征检测，获得相应的眼睛、鼻子、嘴巴的特征区域，并进行剪裁，得到相应的特征区域图像。如果针对的是人体图像，可以识别人体的上半身，下半身的特征检测，获得相应的上半身，下半身的特征区域，并进行剪裁，得到相应的特征区域图像。
[0065]
第二重建模块，将所述特征区域图像分别输入对应的对抗生成网络gan，得到至少一个特征区域重建图像；
[0066]
优选的，还包括：预先基于特征区域图像的训练样本，进行训练得到与所述特征区域图像对应的对抗生成网络gan。这里，具体地，事先先获取若干特征区域图像的样本，并生成相应的特征区域样本，从而进行网络训练，得到对应的对抗生成网络gan。进行具体的通道子图像高分辨率重建时，
[0067]
进行将各个特征区域图像分别输入对应的对抗生成网络gan，形成对应的特征区域重建图像。
[0068]
拼接模块，将所述至少一个特征区域重建图像与所述第一重建图像进行拼接，得到最终重建图像。
[0069]
具体地，可以采用直接基于进行替换图像块的方式，将特征区域重建图像叠加到第一重建图像之上。
[0070]
在本发明实施例的方案中，高分辨率图像重建方法、装置，通过获取原始图像，进行上采样，得到对应的插值图像；分别对所述插值图像的y通道子图像、cb通道子图像、cr通道子图像进行高分辨率重建，得到第一重建图像；对所述插值图像进行特征检测，获取至少一个特征区域；并对所述特征区域进行剪裁，获取特征区域图像；将所述特征区域图像分别输入对应的对抗生成网络gan，得到至少一个特征区域重建图像；将所述至少一个特征区域重建图像与所述第一重建图像进行拼接，得到最终重建图像。本发明，通过在进行图像高分辨率重建时，一方面基于颜色信息对于主图像进行重建，针对不同光线对于图像的不同颜色通道的影响进行分别重建；另一方面，为了保留细节，对于图像的局部特征区域进行重建，从而进一步保证了图像高分辨率重建效果。
[0071]
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，
实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现。也可以全部以硬件的形式实现。还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，确定模块310可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上确定模块310的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所描述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
[0072]
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(application specific integrated circuit，asic)，或，一个或多个微处理器(digital signal processor，dsp)，或，一个或者多个现场可编程门阵列(field programmable gate array，fpga)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(centralprocessing unit，cpu)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，soc)的形式实现。
[0073]
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和偏移处理。该类修改、改进和偏移处理在本说明书中被建议，所以该类修改、改进、偏移处理仍属于本说明书示范实施例的精神和范围。
[0074]
同时，本说明书使用了特定词语来描述本说明书的实施例。如“一种可能的实现方式”、“一种可能的示例”、和/或“示例性地”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一种可能的实现方式”、“一种可能的示例”、和/或“示例性地”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
[0075]
此外，本领域技术人员可以理解，本说明书的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对它们的任何新的和有用的改进。相应地，本说明书的各个方面可以完全由硬件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
[0076]
计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、rf、或类似介质，或任何上述介质的组合。
[0077]
此外，除非权利要求中明确说明，本说明书所述处理元素和列表的顺序、数字字母
的使用、或其它名称的使用，并非用于限定本说明书流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的偏移处理和等价组合。例如，虽然以上所描述的系统组件可以通过互动业务实现，但是也可以只通过软件的解决方案得以实现，如在现有的大数据平台或移动设备上安装所描述的系统。
[0078]
同理，应当注意的是，为了简化本说明书披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
[0079]
需要说明的是，如果本说明书附属材料中的描述、定义、和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
[0080]
最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其它的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

技术特征：
1.一种高分辨率图像重建方法，其特征在于，包括如下步骤：s1，获取原始图像，进行上采样，得到对应的插值图像；s2，分别对所述插值图像的y通道子图像、cb通道子图像、cr通道子图像进行高分辨率重建，得到第一重建图像；s3，对所述插值图像进行特征检测，获取至少一个特征区域；并对所述特征区域进行剪裁，获取特征区域图像；s4，将所述特征区域图像分别输入对应的对抗生成网络gan，得到至少一个特征区域重建图像；s5，将所述至少一个特征区域重建图像与所述第一重建图像进行拼接，得到最终重建图像。2.根据权利要求1所述的高分辨率图像重建方法，其特征在于，所述获取原始图像，进行上采样，得到对应的插值图像，包括：基于预设的放大倍率，对所述原始图像进行上采样操作。3.根据权利要求1或2所述的高分辨率图像重建方法，其特征在于，所述分别对所述插值图像的y通道子图像、cb通道子图像、cr通道子图像进行高分辨率重建，得到第一重建图像，包括：将所述y通道子图像、cb通道子图像、cr通道子图像分别输入对应的y通道全图像对抗生成网络gan、cb通道全图像对抗生成网络gan、cr通道全图像对抗生成网络gan，形成对应的高分辨率重建图，以为得到全图像的第一重建图像。4.根据权利要求1所述的高分辨率图像重建方法，其特征在于，还包括：预先基于特征区域图像的训练样本，进行训练得到与所述特征区域图像对应的对抗生成网络gan。5.一种高分辨率图像重建装置，其特征在于，包括如下模块：插值模块，获取原始图像，进行上采样，得到对应的插值图像；第一重建模块，分别对所述插值图像的y通道子图像、cb通道子图像、cr通道子图像进行高分辨率重建，得到第一重建图像；获取模块，对所述插值图像进行特征检测，获取至少一个特征区域；并对所述特征区域进行剪裁，获取特征区域图像；第二重建模块，将所述特征区域图像分别输入对应的对抗生成网络gan，得到至少一个特征区域重建图像；拼接模块，将所述至少一个特征区域重建图像与所述第一重建图像进行拼接，得到最终重建图像。6.根据权利要求5所述的高分辨率图像重建装置，其特征在于，所述获取原始图像，进行上采样，得到对应的插值图像，包括：基于预设的放大倍率，对所述原始图像进行上采样操作。7.根据权利要求5或6所述的高分辨率图像重建装置，其特征在于，所述分别对所述插值图像的y通道子图像、cb通道子图像、cr通道子图像进行高分辨率重建，得到第一重建图像，包括：将所述y通道子图像、cb通道子图像、cr通道子图像分别输入对应的y通道全图像对抗生成网络gan、cb通道全图像对抗生成网络gan、cr通道全图像对抗生成网络gan，形成对应
的高分辨率重建图，以为得到全图像的第一重建图像。8.根据权利要求5所述的高分辨率图像重建装置，其特征在于，还包括：预先基于特征区域图像的训练样本，进行训练得到与所述特征区域图像对应的对抗生成网络gan。

技术总结
本发明提供一种高分辨率图像重建方法、装置，通过获取原始图像，进行上采样，得到对应的插值图像；分别对所述插值图像的Y通道子图像、Cb通道子图像、Cr通道子图像进行高分辨率重建，得到第一重建图像；对所述插值图像进行特征检测，获取至少一个特征区域；并对所述特征区域进行剪裁，获取特征区域图像；将所述特征区域图像分别输入对应的对抗生成网络GAN，得到至少一个特征区域重建图像；将所述至少一个特征区域重建图像与所述第一重建图像进行拼接，得到最终重建图像。通过一方面基于颜色信息对于主图像进行重建，针对不同光线对于图像的不同颜色通道的影响进行分别重建；另一方面对于图像的局部特征区域进行重建，保证图像高分辨率重建效果。分辨率重建效果。分辨率重建效果。


技术研发人员：张传金 刘治国 马金星 万海峰 陶维俊 邵磊 姚莉莉
受保护的技术使用者：安徽创世科技股份有限公司
技术研发日：2021.12.14
技术公布日：2022/3/8