基于深度学习的视频超分辨率重构系统及方法与流程
本发明涉及图像数据处理的，具体为基于深度学习的视频超分辨率重构系统及方法。
背景技术：
1、超分辨率是通过硬件或软件的方法提高原有图像的分辨率，通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。超分辨率重建的核心思想就是用时间带宽（获取同一场景的多帧图像序列）换取空间分辨率，实现时间分辨率向空间分辨率的转换；现有的视频如果想要获取超分辨率效果只能提升硬件设备的拍摄像素或者借助图像数据降噪算法来实现；现有视频超分辨率处理方法无法基于多视频样本最优超分辨率视频重构处理，降低了超分辨率视频重构的质量和适用性。
2、公开号为cn117058002a的中国发明专利申请公开了一种视频帧超分辨率重构方法、装置及计算机设备，通过获取流媒体视频；对第一视频帧，通过图像特征提取，得到第一视频帧的第一焦点特征；根据第一视频帧，通过目标映射关系，得到第一视频帧的第一采样率；根据第一采样率对第一视频帧，进行图像重采样，得到第二视频帧；对第二视频帧，进行超分辨率处理，得到第二超分辨率视频帧；将第二超分辨率视频帧对应替换至流媒体视频中，得到流媒体超分辨率视频。然而以上技术方案只能对视频帧中的焦点特征进行超分辨率处理，无法对整个视频帧进行全局图像超分辨率重构，并不能保证视频帧的超分辨率重构质量。
技术实现思路
1、（一）解决的技术问题
2、为解决上述现有视频超分辨率处理方法无法基于多视频样本最优超分辨率视频重构处理，降低了超分辨率视频重构的质量和适用性的问题，实现以上准确自主生成样本视频帧图像、科学划分样本视频帧像素测量采样图像、智能筛选最优样本视频帧像素测量采样图像、精准重构最优样本视频帧图像、实现高效高质量超分辨率视频重构作业的目的。
3、（二）技术方案
4、本发明通过以下技术方案予以实现：视频超分辨率重构方法，所述方法包括如下步骤：
5、s1、采集样本视频数据；
6、s2、依据所述样本视频数据进行样本视频的视频帧数分解处理，生成样本视频帧图像数据；
7、s3、基于所述样本视频帧图像数据进行样本视频帧数的图像像素测量采样对象网格划分处理，生成样本视频帧像素测量采样图像数据；
8、s4、根据所述样本视频帧像素测量采样图像数据进行样本视频帧数像素测量采样图像的像素密度数值测量处理，生成样本视频帧像素测量采样图像像素密度数据；
9、s5、依据所述样本视频帧像素测量采样图像像素密度数据进行样本视频帧数像素测量采样图像的像素密度最值数值搜索处理，生成样本视频帧像素测量采样图像像素密度极值数据并结合所述样本视频帧像素测量采样图像数据进行样本视频帧数的最优像素测量采样图像对象分析处理，构建出样本视频帧像素测量最优采样图像数据；
10、s6、基于所述样本视频帧像素测量最优采样图像数据进行样本视频帧数的最优像素图像组合重构数据处理，生成样本视频帧最优图像数据；
11、s7、构建出超分辨率视频重构样本图像数据并执行超分辨率视频重构作业，生成超分辨率样本视频数据。
12、优选的，所述采集样本视频数据的操作步骤如下：
13、s11、通过视频镜头在线重复采集视频拍摄对象的视频数据并生成样本视频数据集合，；其中表示重复采集的第个样本视频数据，表示样本视频数量的最大值。
14、本发明通过视频镜头高效在线采集样本视频参数，达到为样本视频分解生成视频帧图像提供数据支撑的效果。
15、优选的，依据所述样本视频数据进行样本视频的视频帧数分解处理，生成样本视频帧图像数据的操作步骤如下：
16、s21、采用视频编辑软件按照样本视频设定时间轴将所述样本视频数据集合中所述样本视频数据依据样本视频编号有序分解为单个的样本视频帧数，并生成样本视频帧图像数据集合，，其中表示样本视频帧图像数量的最大值，表示所述样本视频数据分解生成的第个样本视频帧图像数据；表示所述样本视频数据分解生成的第个样本视频帧图像数据；表示所述样本视频数据分解生成的第个样本视频帧图像数据；表示所述样本视频数据分解生成的第个样本视频帧图像数据；表示所述样本视频数据分解生成的第个样本视频帧图像数据；表示所述样本视频数据分解生成的第个样本视频帧图像数据；表示所述样本视频数据分解生成的第个样本视频帧图像数据；表示所述样本视频数据分解生成的第个样本视频帧图像数据；表示所述样本视频数据分解生成的第个样本视频帧图像数据，所述视频编辑软件包括adobepremierepro、媒体梦工厂、fotor中任意一种。
17、本发明通过基于样本视频参数结合视频编辑软件进行样本视频的视频帧数高效分解处理，达到实现样本视频帧图像的准确自主生成的效果。
18、优选的，基于所述样本视频帧图像数据进行样本视频帧数的图像像素测量采样对象网格划分处理，生成样本视频帧像素测量采样图像数据的操作步骤如下：
19、s31、采用边长为l正方形对所述样本视频帧图像数据集合中所述样本视频帧图像数据按照样本视频编号和样本视频帧图像编号有序进行样本视频帧图像的图像像素测量采样对象的图像网格划分处理，生成样本视频帧像素测量采样图像数据集合，，其中表示第个样本视频数据分解生成的第个样本视频帧图像数据经过图像网格划分生成的样本视频帧像素测量采样图像数据集合，表示所述样本视频帧像素测量采样图像数据集合中第个样本视频帧像素测量采样图像数据，表示样本视频帧像素测量采样图像数量的最大值。
20、本发明通过对样本视频帧图像进行图像像素测量采样对象科学网格划分处理，达到实现样本视频帧像素测量采样图像的精准数字化采集的效果。
21、优选的，根据所述样本视频帧像素测量采样图像数据进行样本视频帧数像素测量采样图像的像素密度数值测量处理，生成样本视频帧像素测量采样图像像素密度数据的操作步骤如下：
22、s41、采用图像测量软件对所述样本视频帧像素测量采样图像数据集合中所述样本视频帧像素测量采样图像数据按照样本视频编号、样本视频帧图像编号和样本视频帧像素测量采样图像编号有序进行样本视频帧数像素测量采样图像的像素密度数值测量处理，并生成样本视频帧像素测量采样图像像素密度数据集合，其中表示第个样本视频数据分解生成的第个样本视频帧图像数据对应的样本视频帧像素测量采样图像像素密度数据集合，表示所述样本视频帧像素测量采样图像数据对应的样本视频帧像素测量采样图像像素密度数据，的单位为ppi，所述图像测量软件包括mediainfo、imagemeter、photoshop中任意一种。
23、本发明通过图像测量软件准确进行样本视频帧数像素测量采样图像的像素密度数值测量处理，达到为实现样本视频筛选出超分辨率采样图像提供真实数据支持的效果。
24、优选的，依据所述样本视频帧像素测量采样图像像素密度数据进行样本视频帧数像素测量采样图像的像素密度最值数值搜索处理，生成样本视频帧像素测量采样图像像素密度极值数据并结合所述样本视频帧像素测量采样图像数据进行样本视频帧数的最优像素测量采样图像对象分析处理，构建出样本视频帧像素测量最优采样图像数据的操作步骤如下：
25、s51、采用宽度优先搜索算法对所述样本视频帧像素测量采样图像像素密度数据集合中所述样本视频帧像素测量采样图像像素密度数据按照样本视频编号、样本视频帧图像编号和样本视频帧像素测量采样图像编号有序进行样本视频帧数像素测量采样图像的像素密度数值比对，搜索出不同的样本视频编号、相同的样本视频帧图像编号和相同的样本视频帧像素测量采样图像编号对应的数值最大的所述样本视频帧像素测量采样图像像素密度数据并经过数据标识生成样本视频帧像素测量采样图像像素密度极值数据集合，其中表示所述样本视频数据至分解生成的所有第个样本视频帧图像数据对应的样本视频帧像素测量采样图像像素密度极值数据集合，表示所述样本视频数据至分解生成的第个样本视频帧图像数据中第个样本视频帧像素测量采样图像数据对应的样本视频帧像素测量采样图像像素密度极值数据，其中的单位为ppi；
26、s52、将所述样本视频帧像素测量采样图像像素密度极值数据集合中所述样本视频帧像素测量采样图像像素密度极值数据与所述样本视频帧像素测量采样图像数据集合中所述样本视频帧像素测量采样图像数据按照样本视频编号、样本视频帧图像编号和样本视频帧像素测量采样图像编号进行字符匹配，搜索出所述样本视频帧像素测量采样图像像素密度极值数据对应的所述样本视频帧像素测量采样图像数据并构建出样本视频帧像素测量最优采样图像数据集合，其中表示所述样本视频帧像素测量采样图像像素密度极值数据集合对应的样本视频帧像素测量最优采样图像数据集合，表示所述样本视频帧像素测量采样图像像素密度极值数据对应的样本视频帧像素测量最优采样图像数据；执行构建出样本视频帧像素测量最优采样图像数据集合的具体操作步骤如下：
27、s521、初始化，将相关结构参数定义为向量，在所述样本视频帧像素测量采样图像数据集合构成维优化问题中，图像识别沙猫表示问题解的1×数组，每个变量值都是一个浮点数，每个变量值至是位于所述样本视频帧像素测量采样图像数据集合搜索空间中的下界和上界之间；
28、s522、搜索猎物，控制探索与开发阶段过渡的最终参数和主要参数是，当>1时，图像识别沙猫在所述样本视频帧像素测量采样图像数据集合搜索空间中将所述样本视频帧像素测量采样图像像素密度极值数据与所述样本视频帧像素测量采样图像数据按照样本视频编号、样本视频帧图像编号和样本视频帧像素测量采样图像编号进行字符匹配，图像识别沙猫在所述样本视频帧像素测量采样图像数据集合搜索空间中依赖于低频噪声的释放搜索出与所述样本视频帧像素测量采样图像像素密度极值数据相匹配的所述样本视频帧像素测量采样图像数据，假设图像识别沙猫的灵敏度范围从0到2khz,表示灵感来自图像识别沙猫的听觉特征，假设值为2,为当前迭代次数，为最大迭代次数，rand(0,1）表示取值0到1的随机数；，，其中表示灵敏度向量；每只图像识别沙猫根据最佳候选位置和当前位置及其灵敏度范围更新自己的位置，即在所述样本视频帧像素测量采样图像数据集合搜索空间中搜索出与所述样本视频帧像素测量采样图像像素密度极值数据最匹配的所述样本视频帧像素测量采样图像数据的位置；位置计算公式如下：，其中表示在搜索猎物阶段中第t+1次迭代图像识别沙猫个体在所述样本视频帧像素测量采样图像数据集合搜索空间中的当前位置，表示在搜索猎物阶段中第t次迭代图像识别沙猫在所述样本视频帧像素测量采样图像数据集合搜索空间中的最佳候选位置；
29、s523、攻击猎物，当≤1时，图像识别沙猫在所述样本视频帧像素测量采样图像数据集合搜索空间中进行寻找，利用最佳候选位置与当前位置生成一个随机位置，即在所述样本视频帧像素测量采样图像数据集合搜索空间中随机搜索出与所述样本视频帧像素测量采样图像像素密度极值数据相匹配的所述样本视频帧像素测量采样图像数据的随机位置，假设图像识别沙猫的灵敏度范围是一个圆，利用轮盘赌法给每一只图像识别沙猫随机选择一个角度，并按照随机位置计算公式：进行所述样本视频帧像素测量采样图像数据集合搜索空间中随机位置搜索，其中表示在攻击猎物阶段中第t+1次迭代图像识别沙猫个体在所述样本视频帧像素测量采样图像数据集合搜索空间中的随机位置，表示灵敏度向量，表示角度的余弦值，表示在攻击猎物阶段中图像识别沙猫在所述样本视频帧像素测量采样图像数据集合搜索空间中的随机位置，随机位置使得图像识别沙猫靠近并攻击猎物，即在所述样本视频帧像素测量采样图像数据集合搜索空间中搜索出与所述样本视频帧像素测量采样图像像素密度极值数据相匹配的所述样本视频帧像素测量采样图像数据；
30、s524、当算法满足最大迭代次数，输出与所述样本视频帧像素测量采样图像像素密度极值数据最匹配的所述样本视频帧像素测量采样图像数据，否则继续迭代直至满足最大迭代次数；
31、s525、将s524步骤中输出的所述样本视频帧像素测量采样图像像素密度极值数据最匹配的所述样本视频帧像素测量采样图像数据并构建出样本视频帧像素测量最优采样图像数据集合。
32、本发明通过将样本视频帧数像素测量采样图像的像素密度参数结合宽度优先搜索算法智能筛选出样本视频帧像素测量采样图像像素密度极值参数，同时采用沙猫优化算法智能筛选出样本视频帧像素测量最优采样图像参数，达到提高视频超分辨率重构的精度的效果。
33、优选的，基于所述样本视频帧像素测量最优采样图像数据进行样本视频帧数的最优像素图像组合重构数据处理，生成样本视频帧最优图像数据的操作步骤如下：
34、s61、获取所述样本视频帧像素测量最优采样图像数据集合；
35、s62、将所述样本视频帧像素测量最优采样图像数据集合中所述样本视频帧像素测量最优采样图像数据按照样本视频帧图像编号和样本视频帧像素测量采样图像编号有序进行采样图像组合重构生成样本视频帧最优图像数据，其中表示第个样本视频帧最优图像数据。
36、本发明通过自主进行样本视频帧数的最优像素图像组合重构数据处理，达到实现高效精准生成样本视频帧最优图像参数的效果。
37、优选的，所述构建出超分辨率视频重构样本图像数据并执行超分辨率视频重构作业，生成超分辨率样本视频数据的操作步骤如下：
38、s71、将所述样本视频帧最优图像数据中所述样本视频帧最优图像数据进行数据标识构建出超分辨率视频重构样本图像数据集合，其中表示第个超分辨率视频重构样本图像数据；
39、s72、将所述超分辨率视频重构样本图像数据集合中所述超分辨率视频重构样本图像数据按照样本视频帧像素测量采样图像编号和样本视频设定时间轴参数导入视频编辑软件执行超分辨率视频组合重构作业并生成超分辨率样本视频数据。
40、本发明通过基于数据处理科学构建出超分辨率视频重构样本图像参数，同时采用视频编辑软件精准高效执行超分辨率视频组合重构作业并生成超分辨率样本视频，达到实现超分辨率视频高效高质量生成的效果。
41、基于深度学习的视频超分辨率重构系统，用于实现所述视频超分辨率重构方法，所述系统包括视频帧分解模块、视频帧优化处理模块、视频超分辨率重构模块；
42、所述视频帧分解模块包括样本视频采集单元、样本视频帧图像生成单元、样本视频帧像素测量采样图像生成单元；
43、所述样本视频采集单元，通过视频镜头采集样本视频数据；所述样本视频帧图像生成单元，依据所述样本视频数据进行样本视频的视频帧数分解处理，生成样本视频帧图像数据；所述样本视频帧像素测量采样图像生成单元，基于所述样本视频帧图像数据进行样本视频帧数的图像像素测量采样对象网格划分处理，生成样本视频帧像素测量采样图像数据；
44、所述视频帧优化处理模块包括样本视频帧像素测量采样图像像素密度测量单元、样本视频帧像素测量采样图像像素密度最值搜索单元、最优样本视频帧像素测量采样图像分析单元、最优样本视频帧图像生成单元；
45、所述样本视频帧像素测量采样图像像素密度测量单元，根据所述样本视频帧像素测量采样图像数据进行样本视频帧数像素测量采样图像的像素密度数值测量处理，生成样本视频帧像素测量采样图像像素密度数据；所述样本视频帧像素测量采样图像像素密度最值搜索单元，基于深度学习算法依据所述样本视频帧像素测量采样图像像素密度数据进行样本视频帧数像素测量采样图像的像素密度最值数值搜索处理，生成样本视频帧像素测量采样图像像素密度极值数据；所述最优样本视频帧像素测量采样图像分析单元，依据所述样本视频帧像素测量采样图像像素密度极值数据结合所述样本视频帧像素测量采样图像数据进行样本视频帧数的最优像素测量采样图像对象分析处理，构建出样本视频帧像素测量最优采样图像数据；所述最优样本视频帧图像生成单元，基于所述样本视频帧像素测量最优采样图像数据进行样本视频帧数的最优像素图像组合重构数据处理，生成样本视频帧最优图像数据；
46、所述视频超分辨率重构模块包括视频超分辨率重构参数获取单元、视频超分辨率重构作业执行单元；
47、所述视频超分辨率重构参数获取单元，用于构建出超分辨率视频重构样本图像数据；所述视频超分辨率重构作业执行单元，依据所述超分辨率视频重构样本图像数据执行超分辨率视频重构作业，生成超分辨率样本视频数据。
48、（三）有益效果
49、本发明提供了基于深度学习的视频超分辨率重构系统及方法。具备以下有益效果：
50、一、通过样本视频采集单元，采用视频镜头高效在线采集样本视频参数，为样本视频分解生成视频帧图像提供数据支撑；样本视频帧图像生成单元，基于样本视频参数结合视频编辑软件进行样本视频的视频帧数高效分解处理，实现样本视频帧图像的准确自主生成；所述样本视频帧像素测量采样图像生成单元，对样本视频帧图像进行图像像素测量采样对象科学网格划分处理，实现样本视频帧像素测量采样图像的精准数字化采集，实现视频超分辨率重构视频数据处理的标准化操作。
51、二、通过样本视频帧像素测量采样图像像素密度测量单元和样本视频帧像素测量采样图像像素密度最值搜索单元相互配合，采用图像测量软件准确进行样本视频帧数像素测量采样图像的像素密度数值测量处理和结合深度学习算法智能筛选出样本视频帧像素测量采样图像像素密度极值参数，为实现样本视频筛选出超分辨率采样图像提供数据支持，提高视频超分辨率重构的精度；最优样本视频帧像素测量采样图像分析单元和最优样本视频帧图像生成单元相互配合，科学高效筛选出样本视频帧像素测量最优采样图像参数并进行样本视频帧数的最优像素图像组合重构数据处理，实现高效精准生成样本视频帧最优图像参数，提高视频超分辨率重构的质量和效率。
52、三、通过视频超分辨率重构参数获取单元和视频超分辨率重构作业执行单元相互配合，基于数据处理科学构建出超分辨率视频重构样本图像参数，同时采用视频编辑软件精准高效执行超分辨率视频组合重构作业并生成超分辨率样本视频，实现超分辨率视频高效高质量生成，提高视频超分辨率重构的可靠性和适用性。
技术特征：
1.视频超分辨率重构方法，其特征在于，所述方法包括如下步骤：
2.根据权利要求1所述的视频超分辨率重构方法，其特征在于：所述s1包括以下步骤：
3.根据权利要求2所述的视频超分辨率重构方法，其特征在于：所述s2包括以下步骤：
4.根据权利要求3所述的视频超分辨率重构方法，其特征在于：所述s3包括以下步骤：
5.根据权利要求4所述的视频超分辨率重构方法，其特征在于：所述s4包括以下步骤：
6.根据权利要求5所述的视频超分辨率重构方法，其特征在于：所述s5包括以下步骤：
7.根据权利要求6所述的视频超分辨率重构方法，其特征在于：所述s6包括以下步骤：
8.根据权利要求7所述的视频超分辨率重构方法，其特征在于：所述s7包括以下步骤：
9.基于深度学习的视频超分辨率重构系统，用于实现权利要求1-8中任一项所述的视频超分辨率重构方法，其特征在于：所述系统包括视频帧分解模块、视频帧优化处理模块、视频超分辨率重构模块。
技术总结
本发明涉及图像数据处理的技术领域，且公开了基于深度学习的视频超分辨率重构系统及方法，所述系统包括视频帧分解模块、视频帧优化处理模块、视频超分辨率重构模块；通过图像测量软件准确进行样本视频帧数像素测量采样图像的像素密度数值测量处理和结合深度学习算法智能筛选出样本视频帧像素测量采样图像像素密度极值参数，为实现样本视频筛选出超分辨率采样图像提供数据支持，提高视频超分辨率重构的精度；科学高效筛选出样本视频帧像素测量最优采样图像参数并进行样本视频帧数的最优像素图像组合重构数据处理，实现高效精准生成样本视频帧最优图像参数，提高视频超分辨率重构的质量和效率。
技术研发人员：肖赟
受保护的技术使用者：浙江云针信息科技有限公司
技术研发日：
技术公布日：2024/12/5