一种基于半监督的图像去雾方法

1.本发明涉及图像处理技术领域，具体涉及到一种基于半监督的图像去雾方法。


背景技术：

2.随着视觉识别技术的广泛普及与应用，就需要对大量的图像数据进行分析和处理，而这些图像数据因为采集环境干扰往往存在着一些受到天气因素干扰而表观退化的图像，在这些退化图像中，由于雾霾这一天气的高频率出现，雾霾图像构成了这些退化图像的主体部分。因此，如何对雾霾图像进行分析与处理，从而恢复出清晰真实的无雾图像，对图像信息应用过程十分重要。
3.目前，关于图像去雾处理存在预测精准度不够、鲁棒性不强等问题。
4.综上所述，提供一种可实现图像自动复原，图像去雾效率更高、且复原图像质量更加可靠的基于半监督的图像去雾方法，是本领域技术人员急需解决的问题。


技术实现要素：

5.本方案针对上文提到的问题和需求，提出一种基于半监督的图像去雾方法，其由于采取了如下技术方案而能够解决上述技术问题。
6.为实现上述目的，本发明提供如下技术方案：一种基于半监督的图像去雾方法，包括：
7.步骤step1：获取图像数据集，所述图像数据集中包含训练集和测试集，并对所述训练集进行预处理，得到合成的有雾图像和真实雾图；
8.步骤step2：构建基于深度学习的图像复原模型，将预处理后提取的有雾图像输入所述图像复原模型，所述图像复原模型对有雾图像中图像内容和图像细节进行特征分离，及对两种特征进行融合，实现图像特征的提取分析，得到去雾后的图像信息；
9.步骤step3：利用所述图像复原模型构建半监督图像复原网络，并对所述半监督图像复原网络进行训练，得到训练好的图像复原模型；
10.步骤step4：获取待复原雾图组成的原始图像集，并将所述原始图像集输入训练好的半监督图像复原网络得到最终的复原图像。
11.进一步地，使用卷积层和图像复原模型的预训练模型将输入图像映射为高维的深度学习特征及内容-特征分离权重；对深度学习特征进行不同层次的卷积和分离操作；根据分离权重不断调整不同成分在深度特征中的占比。
12.更进一步地，所述图像复原模型包括多尺度提取模块和注意力机制融合模块；所述多尺度提取模块用于提取精细尺度下的特征信息和粗尺度下的特征信息；所述注意力机制融合模块用于进行特征融合；所述多尺度提取模块包括子模块a和子模块b，所述子模块a和所述子模块b均有四个分支，并且包含有一个平均池化和一个串接层，所述串接层将对应的四个分支输出的特征图串接在一起，在每一分支的第一层多个1
×
1的卷积被用于改变输入图片的维度，按照从下至上和从左至右的网络结构，所述子模块a最左侧有两个3
×
3的卷
积层，而所述子模块b中对于粗尺度特征的提取在最左侧的支路上设置了两个7
×
1和1
×
7的卷积对，在左二的支路上设置了一个1
×
7和7
×
1的卷积对，卷积对的使用减少了模型的参数量，所述平均池化的大小为3
×
3，所有的卷积层都紧跟着块正则化和激活函数relu。
13.更进一步地，所述注意力机制融合模块包括三个特征融合模块，每个特征融合模块包括融合模块和注意力模块，所有的特征经过融合模块之前首先经过conv+sigmoid结构组成的注意力模块提取注意力特征图，每个融合模块将高层特征f1和低层特征f2通过乘法操作进行融合，使融合后的特征同时捕获高层和低层特征的共同性质，每次将融合后的特征转发到卷积层、批处理归一化层和relu层，得到最终的输出特征f
out
，f
out
＝o(fb(f1)*fr(f2),其中，o(.)、fb和fr分别代表由卷积层、批处理归一化层和relu层,然后再由下一个融合模块进行处理。
14.进一步地，所述半监督图像复原网络包括有监督网络和与所述有监督网络共享权值的无监督网络，所述有监督网络通过图像复原模型得到去雾图像，并通过有监督损失函数和训练集中合成的有雾图像对有监督网络进行参数训练，同时对权值共享的无监督网络进行参数优化，无监督网络在真实的有雾图像上进行训练。
15.更进一步地，所述有监督损失函数包括均方差误差损失函数、感知损失函数和对抗损失函数；无监督损失函数包括排序损失函数。
16.更进一步地，所述无监督网络在进行训练时，先通过图像复原模型将输入有雾图像恢复为清晰图像j然后对去雾图像j进行随机裁剪得到局部图像利用分类器输出大小在[0,1]之间的清晰概率,预测去雾图像j输出和局部图像的清晰度，然后利用这两种输出概率计算损失，排序损失表示为
[0017]
一种图像复原装置，包括：图像预处理模块、输入模块、复原网络构建模块和输出模块；
[0018]
所述图像预处理模块用于获取图像数据集，所述图像数据集中包含训练集和测试集，并对所述训练集进行预处理，得到合成的有雾图像和真实雾图；
[0019]
所述输入模块用于构建基于深度学习的图像复原模型，将预处理后提取的有雾图像输入所述图像复原模型，所述图像复原模型对有雾图像中图像内容和图像细节进行特征分离，及对两种特征进行融合，实现图像特征的提取分析，得到去雾后的图像信息；
[0020]
所述复原网络构建模块用于利用所述图像复原模型构建半监督图像复原网络，并对所述半监督图像复原网络进行训练，得到训练好的图像复原模型；
[0021]
所述输出模块用于获取待复原雾图组成的原始图像集，并将所述原始图像集输入训练好的图像复原模型得到最终的复原图像。
[0022]
从上述的技术方案可以看出，本发明的有益效果是：本发明通过建立有监督网络和无监督网络组成的半监督复原网络，可实现图像自动复原，图像去雾效率更高、且复原图像质量更加可靠靠。
[0023]
除了上面所描述的目的、特征和优点之外，下文中将结合附图对实施本发明的最优实施例进行更详尽的描述，以便能容易地理解本发明的特征和优点。
附图说明
[0024]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下文将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，其中，附图仅仅用于展示本发明的一些实施例，而非将本发明的全部实施例限制于此。
[0025]
图1为本发明一种基于半监督的图像去雾方法的具体步骤示意图。
[0026]
图2为本实施例中多尺度提取模块的结构示意图。
[0027]
图3为本实施例中无监督网络分支的流程示意图。
[0028]
图4为本实施例中半监督图像复原网络的结构图。
[0029]
图5为本发明一种图像复原装置的组成结构示意图。
[0030]
附图标记：图像预处理模块1、输入模块2、复原网络构建模块3和输出模块4。
具体实施方式
[0031]
为了使得本发明的技术方案的目的、技术方案和优点更加清楚，下文中将结合本发明具体实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。附图中相同的附图标记代表相同的部件。需要说明的是，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0032]
随着视觉传感器技术发展和应用，人们经常需要拍摄、处理与分析数量庞大、角度多变、质量不一的图像数据，例如各类监控图像、互联网图片、遥感卫星图像等。然而，庞大的图像数据中往往存在着一些受到天气因素干扰而表观退化的图像，在这些退化图像中，由于雾霾这一天气的高频率出现，雾霾图像构成了这些退化图像的主体部分。因此，如何对雾霾图像进行分析与处理，从而恢复出清晰真实的无雾图像，成为了一个长期存在的关键问题。深度学习算法能够从输入图像中提取高维抽象特征，并从中恢复出输入图像的清晰表观，因此受到了广泛的关注。然而，基于深度学习的去雾算法主要采用全监督的方式对模型进行训练，需要大量有雾图像及其对应的清晰图像作为训练数据。而真实有雾图像由于其无对应的清晰图像，从而无法在全监督方法中作为训练数据。且在雾图成像时，不同物体的表观会受到雾霾不同程度的影响，使得真实图像中的退化分布具有一定的局部多变性，这一局部多变性又使得真实有雾图像与退化分布全局一致的合成图像具有一定的域属性差异。
[0033]
针对上述问题，本技术实施例提供一种基于半监督的图像去雾方法、图像复原装置，可以避免采用大量有雾图像及其对应的清晰图像作为训练数据，导致训练得到的模型对真实有雾场景的泛化能力较差的问题，及没有充分挖掘图像全局与局部特征、多尺度特征的差异性与互补性的问题。该方法可采用相应的软件、硬件以及软硬结合的方式实现。以下对本技术实施例进行详细介绍。
[0034]
如附图1所示，附图1为本技术实施例提供了一种基于半监督的图像去雾方法，用于对有雾图像进行自动去雾处理。该方法包括以下步骤：
[0035]
步骤step1：获取图像数据集，所述图像数据集中包含训练集和测试集，并对所述训练集进行预处理，得到合成的有雾图像和真实雾图。
[0036]
图像数据集是方法研究和测试的基础，完整的图像数据集能够合理有效地反映方
法的性能，因此图像数据集是研究任务中非常重要的一个内容。在本实施例中，图像数据集包含两部分：(1)reside数据集，包含合成和真实世界的模糊图像。其训练集包含13,990个合成模糊图像；测试集由综合目标测试集(sots)和混合主观测试集(hsts)组成。reside数据集引入了一种新的单图像去雾基准，具有大规模的综合训练集，以及分别为客观和主观质量评估设计的两套不同的数据集。(2)d-hazy数据集，包含地面真实参考图像和同一场景的模糊图像。其通过合成复杂场景的真实图像中的雾度来建立数据集，包含多个场景。
[0037]
步骤step2：构建基于深度学习的图像复原模型，将预处理后提取的有雾图像输入所述图像复原模型，所述图像复原模型对有雾图像中图像内容和图像细节进行特征分离，及对两种特征进行融合，实现图像特征的提取分析，得到去雾后的图像信息。
[0038]
在本实施例中，将输入雾图中的图像内容和图像细节进行分离和特征学习，接着针对两种不同类型的特征进行处理，并在此过程中不断融合两种特征以利用它们之间的互补联系，从而实现图像特征的有效提取。
[0039]
根据大气散射模型雾图i(z)＝j(z)t(z)+a[1-t(z)]，其中，i和j分别表示有雾图像和清晰图像，a和t分别表示大气光强和透射率,由上式可以发现在成像时，清晰图像中的部分表观会受到大气散射率的影响，而1-t与a的相乘往往会造成清晰图像局部表观的弱化效果。即在成像时，真实表观的主体区域会受到大气散射的影响而出现钝化，其细节部分可能会由于弱化效果而出现丢失。则可得清晰图片的恢复过程为其中，即j＝f1(i,t)+f2(a,t)＝j1+j2,j1和j2分别表示与内容、细节有关的深度特征，即清晰图片j的恢复过程由两部分组成：第一部分是i从中恢复大致内容，第二部分是从a与t中恢复图像的细节。
[0040]
具体地，为了抽取两种类型的图像。则需使用固定的卷积层和图像复原模型的预训练模型将输入图像映射为高维的深度学习特征及内容-特征分离权重；再对深度学习特征进行不同层次的卷积和分离操作，其主要包括：i)对深度学习特征使用不同的卷积层进行操作以得到精度不同的特征；ii)根据上述不同精度的特征和分离权重提取特征中关于不同成分的信息；然后根据分离权重不断调整不同成分在深度特征中的占比。
[0041]
所述图像复原模型包括多尺度提取模块和注意力机制融合模块；所述多尺度提取模块用于提取精细尺度下的特征信息和粗尺度下的特征信息，即上述对深度学习特征使用不同的卷积层进行操作以得到精度不同的特征；所述注意力机制融合模块用于进行特征融合；如附图2所示，附图2为多尺度提取模块的结构示意图，所述多尺度提取模块包括子模块a和子模块b，所述子模块a和所述子模块b均有四个分支，并且包含有一个平均池化和一个串接层，所述串接层将对应的四个分支输出的特征图串接在一起，在每一分支的第一层多个1
×
1的卷积被用于改变输入图片的维度，按照从下至上和从左至右的网络结构，所述子模块a最左侧有两个3
×
3的卷积层，而所述子模块b中对于粗尺度特征的提取在最左侧的支路上设置了两个7
×
1和1
×
7的卷积对，在左二的支路上设置了一个1
×
7和7
×
1的卷积对，卷积对的使用减少了模型的参数量，所述平均池化的大小为3
×
3，所有的卷积层都紧跟着块正则化和激活函数relu,块正则化操作能够防止过拟合同时加速网络收敛。最后对于a,b两子块，四个支路的输出在串接层汇合在一起，以便于网络的下一阶段可以同时提取输入
图片在不同尺度下的特征信息。
[0042]
所述注意力机制融合模块包括三个特征融合模块，每个特征融合模块包括融合模块和注意力模块，所有的特征经过融合模块之前首先经过conv+sigmoid结构组成的注意力模块提取注意力特征图，每个融合模块将高层特征f1和低层特征f2通过乘法操作进行融合，使融合后的特征同时捕获高层和低层特征的共同性质，每次将融合后的特征转发到卷积层、批处理归一化层和relu层，得到最终的输出特征f
out
，f
out
＝o(fb(f1)*fr(f2),其中，o(.)、fb和fr分别代表由卷积层、批处理归一化层和relu层,然后再由下一个融合模块进行处理。
[0043]
深度神经网络提取的低层次特征,即图2中(a)(b)阶段上两层提取的特征,通常代表图像局部线索，如图像的边缘和其他模式。随着感受野的增加，网络提取的高层特征能够捕获图像全局范围内的语义。如果只使用低层特征，尽管主要蕴含了细节信息，但在更全局范围内的语义并不能很好地恢复。相反，如果只使用高层特征，细节将会丢。因此，本实施例采用的特征融合方法中，阶段1对应图2中(a)(b)阶段首层特征，阶段2对应图2中(a)(b)阶段第二层特征，阶段3对应图2中(a)(b)阶段第三层特征，阶段4对应图2中(a)(b)阶段最底层特征，从上到下共有三个特征融合模块。第一个模块融合高层特征(第4阶段)和低层特征(第3阶段)，将得到的特征作为高层特征，通过第二特征融合模块与第2阶段的次高层特征进行融合。同样，将得到的特征作为高层特征处理，并通过第三个特征融合模块与阶段1的低层特征进行融合。对于每个特征融合模块，给定高层特征和低层特征，通过将这两类特征进行元素乘法操作从而实现特征融合。融合后的特征将被转发到卷积层、批处理归一化层(batchnormalization)和relu层，然后再由下一个融合模块进行处理。
[0044]
步骤step3：利用所述图像复原模型构建半监督图像复原网络，并对所述半监督图像复原网络进行训练，得到训练好的图像复原模型。
[0045]
如附图4所示，附图4为半监督图像复原网络的结构图，所述半监督图像复原网络包括有监督网络和与所述有监督网络共享权值的无监督网络，所述有监督网络通过图像复原模型得到去雾图像，并通过有监督损失函数和训练集中合成的有雾图像对有监督网络进行参数训练，同时对权值共享的无监督网络进行参数优化，无监督网络在真实的有雾图像上进行训练。
[0046]
在本实施例中，所述有监督损失函数包括均方差误差损失函数、感知损失函数和对抗损失函数；无监督损失函数包括排序损失函数。且训练过程分为三个阶段：无监督预训练，半监督训练以及微调。首先利用无标签数据对网络进行无监督预训练，学习图像的一般视觉表示，在此阶段并不指定图像的具体任务；然后根据特定任务(图像去雾)预训练阶结果进行半监督学习，以确保预测图像的复原质量；最后，为了进一步改进网络对于图像去雾的性能，将未标记数据直接用于目标任务，采用无标签损失函数对网络进行微调。在半监督训练结束后添加微调阶段以特定于任务的方式使用无标记数据，可以增强模型在不同训练阶段之间对无标记数据的预测的一致性。
[0047]
如附图3所示，附图3为无监督网络分支的流程示意图，所述无监督网络在进行训练时，先通过生成器将输入有雾图像恢复为清晰图像j然后对去雾图像j进行随机裁剪得到局部图像利用分类器输出大小在[0,1]之间的清晰概率,预测去雾图像j输出和局部图像
的清晰度，然后利用这两种输出概率计算损失，排序损失表示为
[0048]
步骤step4：获取待复原雾图组成的原始图像集，并将所述原始图像集输入训练好的半监督图像复原网络得到最终的复原图像。
[0049]
如附图5所示，实施例二中，本技术还包括一种图像复原装置，具体包括：图像预处理模块1、输入模块2、复原网络构建模块3和输出模块4；
[0050]
所述图像预处理模块1用于获取图像数据集，所述图像数据集中包含训练集和测试集，并对所述训练集进行预处理，得到合成的有雾图像和真实雾图；
[0051]
所述输入模块2用于构建基于深度学习的图像复原模型，将预处理后提取的有雾图像输入所述图像复原模型，所述图像复原模型对有雾图像中图像内容和图像细节进行特征分离，及对两种特征进行融合，实现图像特征的提取分析，得到去雾后的图像信息；
[0052]
所述复原网络构建模块3用于利用所述图像复原模型构建半监督图像复原网络，并对所述半监督图像复原网络进行训练，得到训练好的图像复原模型；
[0053]
所述输出模块4用于获取待复原雾图组成的原始图像集，并将所述原始图像集输入训练好的图像复原模型得到最终的复原图像。
[0054]
本技术所公开的方法可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，所述存储器上存储有可在所述处理器上运行的计算机指令，该处理器运行所述计算机指令时可执行上述的基于半监督的图像去雾方法的步骤。
[0055]
应当说明的是，本发明所述的实施方式仅仅是实现本发明的优选方式，对属于本发明整体构思，而仅仅是显而易见的改动，均应属于本发明的保护范围之内。

技术特征：
1.一种基于半监督的图像去雾方法，其特征在于，包括以下步骤：步骤step1：获取图像数据集，所述图像数据集中包含训练集和测试集，并对所述训练集进行预处理，得到合成的有雾图像和真实雾图；步骤step2：构建基于深度学习的图像复原模型，将预处理后提取的有雾图像输入所述图像复原模型，所述图像复原模型对有雾图像中图像内容和图像细节进行特征分离和提取，及对两种特征进行融合，实现图像特征的提取分析，得到去雾后的图像信息；步骤step3：利用所述图像复原模型构建半监督图像复原网络，并对所述半监督图像复原网络进行训练，得到训练好的图像复原模型；步骤step4：获取待复原雾图组成的原始图像集，并将所述原始图像集输入训练好的半监督图像复原网络得到最终的复原图像。2.如权利要求1所述的基于半监督的图像去雾方法，其特征在于，所述对有雾特征图像中图像内容和图像细节进行特征分离包括：使用卷积层和图像复原模型的预训练模型将输入图像映射为高维的深度学习特征及内容-特征分离权重；对深度学习特征进行不同层次的卷积和分离操作；根据分离权重不断调整不同成分在深度特征中的占比。3.如权利要求2所述的基于半监督的图像去雾方法，其特征在于，所述图像复原模型包括多尺度提取模块和注意力机制融合模块；所述多尺度提取模块用于提取精细尺度下的特征信息和粗尺度下的特征信息；所述注意力机制融合模块用于进行特征融合；所述多尺度提取模块包括子模块a和子模块b，所述子模块a和所述子模块b均有四个分支，并且包含有一个平均池化和一个串接层，所述串接层将对应的四个分支输出的特征图串接在一起，在每一分支的第一层多个1
×
1的卷积被用于改变输入图片的维度，按照从下至上和从左至右的网络结构，所述子模块a最左侧有两个3
×
3的卷积层，而所述子模块b中对于粗尺度特征的提取在最左侧的支路上设置了两个7
×
1和1
×
7的卷积对，在左二的支路上设置了一个1
×
7和7
×
1的卷积对，卷积对的使用减少了模型的参数量，所述平均池化的大小为3
×
3，所有的卷积层都紧跟着块正则化和激活函数relu。4.如权利要求3所述的基于半监督的图像去雾方法，其特征在于，所述注意力机制融合模块包括三个特征融合模块，每个特征融合模块包括融合模块和注意力模块，所有的特征经过融合模块之前首先经过conv+sigmoid结构组成的注意力模块提取注意力特征图，每个融合模块将高层特征f1和低层特征f2通过乘法操作进行融合，使融合后的特征同时捕获高层和低层特征的共同性质，每次将融合后的特征转发到卷积层、批处理归一化层和relu层，得到最终的输出特征f
out
，f
out
＝o(f
b
(f1)*f
r
(f2),其中，o(.)、f
b
和f
r
分别代表由卷积层、批处理归一化层和relu层,然后再由下一个融合模块进行处理。5.如权利要求1所述的基于半监督的图像去雾方法，其特征在于，所述半监督图像复原网络包括有监督网络和与所述有监督网络共享权值的无监督网络，所述有监督网络通过图像复原模型得到去雾图像，并通过有监督损失函数和训练集中合成的有雾图像对有监督网络进行参数训练，同时对权值共享的无监督网络进行参数优化，无监督网络在真实的有雾图像上进行训练。6.如权利要求5所述的基于半监督的图像去雾方法，其特征在于，所述有监督损失函数包括均方差误差损失函数、感知损失函数和对抗损失函数；无监督损失函数包括排序损失函数。
7.如权利要求6所述的基于半监督的图像去雾方法，其特征在于，所述无监督网络在进行训练时，先通过图像复原模型将输入有雾图像恢复为清晰图像j然后对去雾图像j进行随机裁剪得到局部图像利用分类器输出大小在[0,1]之间的清晰概率,预测去雾图像j输出和局部图像的清晰度，然后利用这两种输出概率计算损失，排序损失表示为

技术总结
本发明提供了一种基于半监督的图像去雾方法，该方法包括：步骤Step1：获取图像数据集，并对所述训练集进行预处理，得到合成的有雾图像和真实雾图；步骤Step2：构建基于深度学习的图像复原模型，将预处理后提取的有雾图像输入所述图像复原模型，实现图像特征的提取分析，得到去雾后的图像信息；步骤Step3：利用所述图像复原模型构建半监督图像复原网络，并对所述半监督图像复原网络进行训练，得到训练好的图像复原模型；步骤Step4：获取待复原雾图组成的原始图像集，并将所述原始图像集输入训练好的半监督图像复原网络得到最终的复原图像，本发明可实现图像自动复原，图像去雾效率更高、且复原图像质量更加可靠。复原图像质量更加可靠。复原图像质量更加可靠。


技术研发人员：赵丽 张笑钦
受保护的技术使用者：温州大学
技术研发日：2021.11.29
技术公布日：2022/3/8