基于深度学习的仪表超分辨率处理方法及装置与流程

1.本发明属于图像识别技术领域，特别是一种基于深度学习的仪表超分辨率处理方法及装置。


背景技术：

2.随着工业和自动化技术的发展，仪表设备成了必要的配套设施。因此，各种机器人的仪表智能读数已经成为一项重要任务。为了准确的读取到仪表的读数，对仪表图像的分辨率需要有很高的要求。但是在一些情况下，拍摄到的仪表图片存在分辨率过小的问题。此外，由于环境和设备的原因，基于真实场景拍摄的仪表图片数据质量较低，比如比较模糊、自带噪声、光线环境复杂等等。
3.为解决以上问题，需要增加图像分辨率，最常用技术之一是图像像素的插值。虽然易于实现，但这种方法在视觉质量上仍然存在许多缺陷，例如许多细节(如尖锐边缘)不能得到自然的复原，输入图像中的模糊和噪声难以抑制。此外，常用的图像超分技术，比如电视上使用的超分技术，无法消除或抑制输入图片中带有的模糊和复杂噪声，重建得到输出图像效果较差，不足以用于准确的读数。
4.总之，现有技术存在的问题是：当拍摄得到的表计区域图像分辨率较低，且图像带有模糊和噪声时，机器人仪表智能读数精度低。


技术实现要素：

5.本发明的目的在于提供一种基于深度学习的仪表超分辨率处理方法，表计读数精度高。
6.本发明的另一目的在于提供一种表计读数精度高的基于深度学习的仪表超分辨率处理装置
7.实现本发明目的的技术解决方案为：
8.一种基于深度学习的仪表超分辨率处理方法，包括如下步骤：
9.(10)采集真实世界数据集:使用摄像机拍摄真实的仪表图像，所述仪表图像带有真实世界的噪声和模糊方式；
10.(20)构建训练所需数据对：用图像处理方法处理所述仪表图像，将低分辨率图像与高分辨率图像数据配对，得到训练数据对；
11.(30)构建深度学习神经网络：采用经典esrgan网络架构，设定网络参数、损失函数和优化器，得到网络模型；
12.(40)训练网络模型：利用所述训练数据对训练所述网络模型，采用训练成熟的网络模型处理现场仪表图像。
13.实现本发明的另一目的技术解决方案为：
14.一种基于深度学习的仪表超分辨率处理装置，包括：
15.真实世界数据集采集模块，用于使用摄像机拍摄真实的仪表图像，所述仪表图像
带有真实世界的噪声和模糊方式；
16.训练所需数据对构建模块，用于用图像处理方法处理所述仪表图像，将低分辨率图像与高分辨率图像数据配对，得到训练数据对；
17.深度学习神经网络构建模块，用于采用经典esrgan网络架构，设定网络参数、损失函数和优化器，得到网络模型；
18.模型训练模块，用于利用所述训练数据对训练所述网络模型，采用训练成熟网络模型处理现场仪表图像。
19.本发明与现有技术相比，其显著优点为：
20.1、表计读数精度高：本发明方法基于深度卷积神经网络的端到端的有监督学习，通过端到端的学习仪表图像上低分辨率到高分辨率映射方式，实现了仪表图像的超分辨率恢复。通过实验对比，本方法构建的数据对中模糊方式和噪音形式，相比于一般的数据增广方式，更加的贴近真实世界的数据情况。用本方法构建的训练数据集去训练相应的模型，针对真实世界场景拍摄的仪表区域的超分辨结果更优，超分辨率的输出图像对于模糊核噪声有更强的抑制，输出图片质量更高。
21.下面结合附图和具体实施方式对本发明作进一步的详细描述。
附图说明
22.图1是本发明基于深度学习的仪表超分辨率处理方法的主流程图。
具体实施方式
23.如图1所示，本发明基于深度学习的仪表超分辨率处理方法，包括如下步骤：
24.(10)采集真实世界数据集:使用实际的海康摄像机拍摄真实的仪表数据，这些数据带有真实世界的噪声和模糊方式
25.真实世界的数据都带有随机的模糊方式和随机的噪声，不同相机或环境条件会造成特异的噪声和模糊形式，不同于常见的模糊和噪声形式，很难估计。
26.从原始图像中抽取相机特有的噪声块并保存下来。真实场景相机设备对应的噪声比较复杂，很难用常见的噪声核通过组合方式模拟出来。抽取出来的噪声相比常见噪声，更加有针对性；
27.(20)构建训练所需要的数据对：用图像处理方法，得到低分辨率的图像-高分辨率的图像数据配对。
28.为了解决真实场景仪表超分辨率的鲁棒性，需要模拟真实场景，有效地构建对应的真实世界场景的训练数据对。
29.在真实场景中采集大量的数据，将真实的原始数据降采样除去原有的模糊和噪声，获得的拟合真实世界场景的仪表图像作为训练样本，对训练样本进行预处理，生成清晰的高分辨率图像，作为模型训练的目标图像；
30.(30)构建深度学习的神经网络：采用经典esrgan网络架构，设定网络参数、损失函数和优化器；
31.通过生成对抗网络，学习原始图像中相机对应的模糊核分布形式，并抽取出来保存。真实场景相机设备对应的模糊核比较复杂，很难用常见的模糊核通过组合方式模拟出
来；
32.将所得的hr图像下采样得到低分辨率lr图像，然后将保存的模糊和噪声叠加到低分辨率lr图像中，得到降质更明显的lr图像，与高分辨率hr图像形成一一对应的数据对。
33.设定网络的训练参数、损失函数和优化器。损失函数采用比较常见的l1损失，感知损失和对抗损失，见下式，具体对应的权重系数是根据实验效果调整所得的；
34.下式为模型训练损失函数，用于指导模型优化的方向，整体的损失越小，模型优化的越好。
35.l
total
＝λ1·
l1+λ
per
·
l
per
+λ
adv
·
l
adv
.
36.式中，像素损失l1，用于度量生成图片和目标图片的像素级的差异，感知损失l
per
，用于在训练中帮助加强低频特性的视觉效果，比如边缘细节，对抗损失l
adv
，用于加强生成图像的纹理细节，使图像看起来更加真实。
37.λ1、λ
per
、λ
adv
，为通过实验确定的各优化项权重系数，可分别取0.01，1和0.005。
38.搭建卷积神经网络模型，采用业界比较通用的对抗生成网络gan；
39.得到足量模拟真实世界场景的数据对后，可以开始训练模型。
40.(40)训练模型,评估结果：做在线的数据增广，增加数据的多样性，训练相应的网络模型，得到鲁棒性强的模型，并评估其处理的结果
41.利用训练样本对模型进行训练，通过设定性能评估函数，保留最优模型作为最后实际应用的模型，用于测试实际的数据，评估低分辨率的带噪声带模糊图像超分放大后的效果。
42.其中，为了提升训练样本的数据多样性，采集大量的真实场景数据.同时在模型训练过程中使用数据扩增技术，用于增强训练过程中数据的多样性。为了增强模型的鲁棒性，在训练中需要补充图像的多样性，以下的操作都是为了得到更多的训练数据对，从而使模型得到更充分的学习。
43.具体包括：
44.(41)对图像进行随机裁剪得到子图像块；
45.(42)对图像进行随机的左右翻转，上下翻转；
46.(43)对图像进行随机的旋转；
47.(44)对图像进行色域转化。
48.针对仪表在真实世界场景中的图像特性，本专利为了保障超分辨率效果，需要解决两个难题：
49.1.如何有效的构建真实世界的训练数据对，即构建出符合真实世界的小尺寸带复杂噪声和模糊的仪表图像，以及与其相配对的目标效果图像；
50.2.如何用有效的训练方式，让模型泛化性大大增强，使得输出图像能稳定的放大且消除掉噪声、模糊和人工缺陷。
51.本发明方法基于深度卷积神经网络的端到端的有监督学习，通过端到端的学习仪表图像上低分辨率到高分辨率映射方式，实现了仪表图像的超分辨率恢复。通过实验对比，本方法构建的数据对中模糊方式和噪音形式，相比于一般的数据增广方式，更加的贴近真实世界的数据情况。用本方法构建的训练数据集去训练相应的模型，针对真实世界场景拍摄的仪表区域的超分辨结果更优，超分辨率的输出图像对于模糊核噪声有更强的抑制，输
出图片质量更高。

技术特征：
1.一种基于深度学习的仪表超分辨率处理方法，其特征在于,包括如下步骤：(10)采集真实世界数据集:使用摄像机拍摄真实的仪表图像，所述仪表图像带有真实世界的噪声和模糊方式；(20)构建训练所需数据对：用图像处理方法处理所述仪表图像，将低分辨率图像与高分辨率图像数据配对，得到训练数据对；(30)构建深度学习神经网络：采用经典esrgan网络架构，设定网络参数、损失函数和优化器，得到网络模型；(40)训练网络模型：利用所述训练数据对训练所述网络模型，采用训练成熟的网络模型处理现场仪表图像。2.根据权利要求1所述的仪表超分辨率处理方法，其特征在于，所述(40)训练模型步骤中，随机采用下述步骤做在线数据增广：(41)对处理后的仪表图像进行随机裁剪，得到子图像块；(42)对处理后的图像进行随机的左右翻转，上下翻转；(43)对处理后的图像进行随机的旋转；(44)对处理后的图像进行色域转化。3.根据权利要求1所述的仪表超分辨率处理方法，其特征在于：所述摄像机为海康摄像机。4.一种基于深度学习的仪表超分辨率处理装置，其特征在于,包括：真实世界数据集采集模块，用于使用摄像机拍摄真实的仪表图像，所述仪表图像带有真实世界的噪声和模糊方式；训练所需数据对构建模块，用于用图像处理方法处理所述仪表图像，将低分辨率图像与高分辨率图像数据配对，得到训练数据对；深度学习神经网络构建模块，用于采用经典esrgan网络架构，设定网络参数、损失函数和优化器，得到网络模型；模型训练模块，用于利用所述训练数据对训练所述网络模型，采用训练成熟网络模型处理现场仪表图像。

技术总结
本发明公开一种基于深度学习的仪表超分辨率处理方法及装置，表计读数精度高。本发明基于深度学习的仪表超分辨率处理方法，包括如下步骤：(10)采集真实世界数据集:使用摄像机拍摄真实的仪表图像，所述仪表图像带有真实世界的噪声和模糊方式；(20)构建训练所需数据对：用图像处理方法处理所述仪表图像，将低分辨率图像与高分辨率图像数据配对，得到训练数据对；(30)构建深度学习神经网络：采用经典ESRGAN网络架构，设定网络参数、损失函数和优化器，得到网络模型；(40)训练网络模型：利用所述训练数据对训练所述网络模型，采用训练成熟的网络模型处理现场仪表图像。的网络模型处理现场仪表图像。的网络模型处理现场仪表图像。


技术研发人员：杨顺
受保护的技术使用者：深圳亿嘉和科技研发有限公司
技术研发日：2021.12.06
技术公布日：2022/3/8