基于光学合成孔径雷达变换器引导的密度感知云去除方法

本发明属于遥感图像处理，更为具体地讲，涉及一种基于光学合成孔径雷达变换器引导的密度感知云去除方法。

背景技术：

1、在遥感图像处理领域，云层覆盖是影响地面特征提取和分析的常见挑战。自2000年和2002年分别发射terra和aqua卫星平台以来，持续观察获得了modis的各种云属性数据。modis云掩码数据表明，全球云覆盖率约为67％，陆地区域的云覆盖率约为55％。

2、合成孔径雷达因其强穿透能力和后向散射测量特点，在云去除挑战中起到了重要作用。目前已有多种基于合成孔径雷达的云去除方法已经被提出，这些方法通过学习将多模态图像的拼接转换为无云图像。然而现有方法没有考虑对于不同的云密度程度，模型所学习的潜在结构可能是不同的，导致纹理和结构不一致，从而导致潜在的重建失败。

技术实现思路

1、本发明的目的在于克服现有技术的不足，提供一种基于光学合成孔径雷达变换器引导的密度感知云去除方法，引入了云密度感知技术，增强基于合成孔径雷达图像的云去除过程，从而显著提高了云去除的效果。

2、为了实现上述发明目的，本发明基于光学合成孔径雷达变换器引导的密度感知云去除方法包括以下步骤：

3、s1：根据实际需要获取若干训练样本构建去云数据集，每个训练样本中包含同一区域的云覆盖光学图像、合成孔径雷达图像、无云光学图像和云覆盖光学图像的云密度水平；

4、s2：构建云去除模型，包括第一图像特征提取模块，第二图像特征提取模块，云密度感知模块，光学合成孔径雷达变换器模块，光学特征融合模块和图像叠加模块，其中：

5、第一图像特征提取模块用于对云覆盖光学图像jopt进行特征提取，得到云覆盖光学图像特征gopt并发送至云密度感知模块和光学合成孔径雷达变换器模块。

6、第二图像特征提取模块用于对合成孔径雷达图像jsar进行特征提取，得到合成孔径雷达图像特征gsar并发送至光学合成孔径雷达变换器模块；

7、云密度感知模块用于对云覆盖光学图像特征gopt进行云密度估计得到云密度水平glabel；

8、光学合成孔径雷达变换器模块用于根据合成孔径雷达图像特征gsar对云覆盖光学图像特征gopt进行变换处理，得到n个云覆盖光学图像特征并输出至光学特征融合模块，i＝1,2,…,n；光学合成孔径雷达变换器模块包括n层密度感知全局上下文交互模块，其中：

9、第i层密度感知全局上下文交互模块用于对输入的云覆盖光学图像特征和合成孔径雷达图像特征进行交互处理，得到云覆盖光学图像特征和合成孔径雷达图像特征进行输出；第1层密度感知全局上下文交互模块的输入云覆盖光学图像特征合成孔径雷达图像特征前n-1层密度感知全局上下文交互模块将所得到的云覆盖光学图像特征和合成孔径雷达图像特征输出至下一层密度感知全局上下文交互模块，i′＝1,2,…,n-1，每层密度感知全局上下文交互模块将所得到的云覆盖光学图像特征均输出至光学特征融合模块；

10、光学特征融合模块用于对n个云覆盖光学图像特征进行拼接，然后对拼接特征进行尺寸变换至云覆盖光学图像jopt的尺寸，将得到的特征图像jr发送至图像叠加模块；

11、图像叠加模块用于将云覆盖光学图像jopt和特征图像jr进行叠加，得到无云光学图像jd＝jopt+jr；

12、s3：采用步骤s1中的去云数据集对云去除模型进行训练，得到训练好的云去除模型；

13、s4：当需要对某个云覆盖光学图像进行云去除时，将云覆盖光学图像和对应的合成孔径雷达图像输入训练好的云去除模型，得到无云光学图像。

14、本发明基于光学合成孔径雷达变换器引导的密度感知云去除方法，构建包括第一图像特征提取模块，第二图像特征提取模块，云密度感知模块，光学合成孔径雷达变换器模块，光学特征融合模块和图像叠加模块的云去除模型，对云覆盖光学图像、合成孔径雷达图像分别进行特征提取后，根据云覆盖光学图像特征估计云密度水平，根据合成孔径雷达图像特征对云覆盖光学图像特征进行变换处理，将得到的云覆盖光学图像特征进行融合后与原云覆盖光学图像进行叠加，得到无云图像；采用预设的去云数据集对云去除模型进行训练后，即可采用训练好的云去除模块根据合成孔径雷达图像对云覆盖光学图像进行云去除。

15、本发明具有以下有益效果：

16、1)本发明通过引入云密度感知模块，通过不同级别的云密度信息，协助云覆盖光学图像学习合成孔径雷达中被云遮盖的地面纹理信息，从而提高去云性能，解决了基于合成孔径雷达图像进行云去除任务带来的纹理和结构不一致的问题；

17、2)本发明采用密度感知全局上下文交互模块将云覆盖光学图与合成孔径雷达图像特征相结合，促进了更详细和精确的去云，确保了底层表面细节的完整性，同时最大限度地减少了噪声和伪影的引入。

技术特征：

1.一种基于光学合成孔径雷达变换器引导的密度感知云去除方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的密度感知云去除方法，其特征在于，所述步骤s1中云密度水平采用如下方法确定：

3.根据权利要求1所述的密度感知云去除方法，其特征在于，所述步骤s2中云密度感知模块包括特征展开模块和分类模块，其中：

4.根据权利要求1所述的密度感知云去除方法，其特征在于，所述步骤s2中密度感知全局上下文交互模块包括雷达图像处理模块，光学图像处理模块和全局-局部融合变换模块，其中：

5.根据权利要求1所述的密度感知云去除方法，其特征在于，所述步骤s3中云去除模型训练的损失函数loss采用如下方法计算：

6.根据权利要求5所述的密度感知云去除方法，其特征在于，所述无云光学图像的生成损失lgen的计算公式如下：

7.根据权利要求5所述的密度感知云去除方法，其特征在于，所述云密度水平的估计损失lcla采用交叉熵损失。

8.根据权利要求5所述的密度感知云去除方法，其特征在于，所述权重λgen和λcla的计算方法为：

技术总结
本发明公开了一种基于光学合成孔径雷达变换器引导的密度感知云去除方法，构建包括第一图像特征提取模块，第二图像特征提取模块，云密度感知模块，光学合成孔径雷达变换器模块，光学特征融合模块和图像叠加模块的云去除模型，对云覆盖光学图像、合成孔径雷达图像分别进行特征提取后，根据云覆盖光学图像特征估计云密度水平，根据合成孔径雷达图像特征对云覆盖光学图像特征进行变换处理，将得到的云覆盖光学图像特征进行融合后与原云覆盖光学图像进行叠加，得到无云图像；采用预设的去云数据集对云去除模型进行训练后，即可采用训练好的云去除模块根据合成孔径雷达图像对云覆盖光学图像进行云去除。采用本发明可以显著提高了云去除的效果。

技术研发人员：芮泉,李天宇,王国庆,杨阳
受保护的技术使用者：电子科技大学
技术研发日：
技术公布日：2024/12/5