一种高分辨率遥感图像实例分割模型的训练方法及装置与流程

1.本发明涉及图像处理技术领域，特别是一种高分辨率遥感图像实例分割模 型的训练方法及装置。


背景技术：

2.对于高分辨率遥感影像的实例分割任务来说，数据的收集与标注是一项耗 费时间、耗费人力的任务。首先高分辨率遥感图像数据不易收集；其次，由于 高分辨率遥感图像是从一定高度俯视拍摄得到，所以图像内可能存在成百上千 的小目标实例。而小目标实例的像素级别标注相对来说更加耗时、耗力。这些 因素使得标注一个大型、高质量的高分辨率遥感图像实例分割数据集的难度剧 增。
3.然而现实生活中往往存在大量没有被利用的未标注数据，因此如何在有限 标注数据的前提下，利用大量的未标注数据来提高遥感图像实例分割模型分割 精度，也是值得深入探讨与研究的问题。目前基于半监督学习的自然图像实例 分割已经有了部分工作，也取得了不错的成果。但基于半监督学习的遥感图像 实例分割还甚少有人研究。
4.目前遥感图像实例分割方法主要关注模型性能的提高，较少有方法考虑到 标注数据不足等问题。总的来说，基于半监督学习的遥感图像实例分割还尚未 得到有效解决，存在以下两点挑战：(1)针对遥感图像实例分割任务中未标注 数据的利用，目前还没有有效的解决方案；(2)遥感图像内的目标具有尺寸差 异大、任意方向性，且小目标较多，导致遥感图像实例分割任务难度增加。


技术实现要素：

5.本发明解决的技术问题是：克服现有技术的不足，提供了一种高分辨率遥 感图像实例分割模型的训练方法及装置。
6.本发明的技术解决方案是：
7.第一方面，本发明实施例提供了一种高分辨率遥感图像实例分割模型的训 练方法，包括：
8.获取有标签的第一遥感图像和无标签的第二遥感图像；
9.将所述第一遥感图像和所述第二遥感图像输入至初始高分辨率遥感图像实 例分割模型；所述初始高分辨率遥感图像实例分割模型包括：监督分支网络和 一致性分支网络；
10.基于所述监督分支网络对所述第一遥感图像进行处理，并根据处理结果得 到所述监督分支网络的监督损失函数；
11.基于所述一致性分支网络对所述第一遥感图像和所述第二遥感图像进行处 理，并根据处理结果得到所述一致性分支网络的一致性损失函数；
12.基于所述监督损失函数和所述一致性损失函数，计算得到模型损失函数；
13.根据所述模型损失函数调整所述初始高分辨率遥感图像实例分割模型的模 型参
数，并迭代上述过程，直至得到目标高分辨率遥感图像实例分割模型。
14.可选地，所述一致性分支网络包括：特征提取骨干网络层、区域生成网络、 边界框特征提取器、边界框预测模块和掩膜预测器，其中，
15.所述基于所述一致性分支网络对所述第一遥感图像和所述第二遥感图像进 行处理，并根据处理结果得到所述一致性分支网络的一致性损失函数，包括：
16.对所述第一遥感图像和所述第二遥感图像进行水平翻转处理，分别得到第 一翻转图像和第二翻转图像；
17.调用所述特征提取骨干网络层对所述第一翻转图像和所述第二翻转图像分 别进行图像特征提取处理，得到相应的第一特征图和第二特征图；
18.调用所述区域生成网络预测得到所述第一特征图对应的第一候选框和所述 第二特征图对应的第二候选框；
19.调用所述边界框特征提取器提取所述第一特征图中的所述第一候选框对应 的第一候选框特征，及所述第二特征图中的所述第二候选框对应的第二候选框 特征；
20.调用所述边界框预测模块对所述第一候选框特征进行处理，得到第一类别 概率分数向量和第一位置偏移变化量，并对所述第二候选框特征进行处理，得 到第二类别概率分数向量和第二位置偏移变化量；
21.调用所述掩膜预测器对所述第一类别概率分数向量和所述第一位置偏移变 化量进行处理，得到所述一致性损失函数。
22.可选地，所述基于所述监督损失函数和所述一致性损失函数，计算得到模 型损失函数，包括：
23.获取所述一致性损失函数对应的损失权重；
24.基于所述监督损失函数、所述一致性损失函数和所述损失权重，计算得到 所述模型损失函数。
25.可选地，所述对所述第一遥感图像和所述第二遥感图像进行水平翻转处理， 分别得到第一翻转图像和第二翻转图像，包括：
26.以所述第一遥感图像和所述第二遥感图像的中线为轴翻转180度，得到所 述第一翻转图像和所述第二翻转图像。
27.可选地，所述一致性分支网络还包括：背景剔除模块，其中，
28.在所述调用所述掩膜预测器对所述第一类别概率分数向量和所述第一位置 偏移变化量进行处理，得到所述第二预测目标实例，并对所述第二类别概率分 数向量和所述第二位置偏移变化量进行处理，得到所述第三预测目标实例之前， 还包括：
29.调用所述背景剔除模块根据所述第一类别概率分数向量和所述第二类别概 率分数向量，剔除所述第一候选框和所述第二候选框中不符合要求的候选框。
30.第二方面，本发明实施例提供了一种高分辨率遥感图像实例分割模型的训 练装置，包括：
31.遥感图像获取模块，用于获取有标签的第一遥感图像和无标签的第二遥感 图像；
32.遥感图像输入模块，用于将所述第一遥感图像和所述第二遥感图像输入至 初始高分辨率遥感图像实例分割模型；所述初始高分辨率遥感图像实例分割模 型包括：监督分支网络和一致性分支网络；
33.监督损失函数获取模块，用于基于所述监督分支网络对所述第一遥感图像 进行处理，并根据处理结果得到所述监督分支网络的监督损失函数；
34.一致性损失函数获取模块，用于基于所述一致性分支网络对所述第一遥感 图像和所述第二遥感图像进行处理，并根据处理结果得到所述一致性分支网络 的一致性损失函数；
35.模型损失函数计算模块，用于基于所述监督损失函数和所述一致性损失函 数，计算得到模型损失函数；
36.目标分割模型获取模块，用于根据所述模型损失函数调整所述初始高分辨 率遥感图像实例分割模型的模型参数，并迭代上述过程，直至得到目标高分辨 率遥感图像实例分割模型。
37.可选地，所述一致性分支网络包括：特征提取骨干网络层、区域生成网络、 边界框特征提取器、边界框预测模块和掩膜预测器，其中，
38.所述一致性损失函数获取模块包括：
39.翻转图像获取单元，用于对所述第一遥感图像和所述第二遥感图像进行水 平翻转处理，分别得到第一翻转图像和第二翻转图像；
40.特征图获取单元，用于调用所述特征提取骨干网络层对所述第一翻转图像 和所述第二翻转图像分别进行图像特征提取处理，得到相应的第一特征图和第 二特征图；
41.候选框获取单元，用于调用所述区域生成网络预测得到所述第一特征图对 应的第一候选框和所述第二特征图对应的第二候选框；
42.候选框特征提取单元，用于调用所述边界框特征提取器提取所述第一特征 图中的所述第一候选框对应的第一候选框特征，及所述第二特征图中的所述第 二候选框对应的第二候选框特征；
43.概率分数获取单元，用于调用所述边界框预测模块对所述第一候选框特征 进行处理，得到第一类别概率分数向量和第一位置偏移变化量，并对所述第二 候选框特征进行处理，得到第二类别概率分数向量和第二位置偏移变化量；
44.一致性损失函数获取单元，用于调用所述掩膜预测器对所述第一类别概率 分数向量和所述第一位置偏移变化量进行处理，得到所述一致性损失函数。
45.可选地，所述模型损失函数计算模块包括：
46.损失权重获取单元，用于获取所述一致性损失函数对应的损失权重；
47.模型损失函数计算单元，用于基于所述监督损失函数、所述一致性损失函 数和所述损失权重，计算得到所述模型损失函数。
48.可选地，所述翻转图像获取单元包括：
49.翻转图像获取子单元，用于以所述第一遥感图像和所述第二遥感图像的中 线为轴翻转180度，得到所述第一翻转图像和所述第二翻转图像。
50.可选地，所述一致性分支网络还包括：背景剔除模块，其中，
51.所述装置还包括：
52.候选框剔除模块，用于调用所述背景剔除模块根据所述第一类别概率分数 向量和所述第二类别概率分数向量，剔除所述第一候选框和所述第二候选框中 不符合要求的候选框。
53.本发明与现有技术相比的优点在于：
54.本发明实施例利用半监督学习中的一致性正则化思想，设计掩膜损失函数， 在有限标注数据的前提下，充分利用未标注数据中包含的丰富信息提高模型分 割精度。通过对比实验表明，本发明采用的基于半监督学习的遥感图像实例分 割方法，能够有效地利用未标注数据来提高模型分割精度，缓解有限标注数据 带来的难题。
附图说明
55.图1为本发明实施例提供的一种高分辨率遥感图像实例分割模型的训练方 法的步骤流程图；
56.图2为本发明实施例提供的一种深度卷积神经网络模型的结构示意图；
57.图3为本发明实施例提供的一种高分辨率遥感图像实例分割模型的训练装 置的结构示意图。
具体实施方式
58.实施例一
59.参照图1，示出了本发明实施例提供的一种高分辨率遥感图像实例分割模 型的训练方法的步骤流程图，如图1所示，该高分辨率遥感图像实例分割模型 的训练方法可以包括如下步骤：
60.步骤101：获取有标签的第一遥感图像和无标签的第二遥感图像。
61.本发明实施例可以应用于对高分辨率遥感图像实例分割模型进行训练的 场景中。
62.第一遥感图像为标注有标签的卫星遥感图像。
63.第二遥感图像为未标签有标签的卫星遥感图像。
64.在需要进行高分辨率遥感图像实例分割模型的训练时，可以获取有标签的 第一遥感图像和无标签的第二遥感图像。
65.在获取到第一遥感图像和第二遥感图像之后，执行步骤102。
66.步骤102：将所述第一遥感图像和所述第二遥感图像输入至初始高分辨率 遥感图像实例分割模型；所述初始高分辨率遥感图像实例分割模型包括：监督 分支网络和一致性分支网络。
67.在本示例中，高分辨率遥感图像实例分割模型的模型可以包括监督分支网 络和一致性分支网络。
68.在获取到第一遥感图像和第二遥感图像之后，可以将第一遥感图像和第二 遥感图像输入至初始高分辨率遥感图像实例分割模型，以对初始高分辨率遥感 图像实例分割模型进行训练。
69.步骤103：基于所述监督分支网络对所述第一遥感图像进行处理，并根据 处理结果得到所述监督分支网络的监督损失函数。
70.步骤104：基于所述一致性分支网络对所述第一遥感图像和所述第二遥感 图像进行处理，并根据处理结果得到所述一致性分支网络的一致性损失函数。
71.在具体训练过程中，可以基于监督分支网络对第一遥感图像进行处理，以 根据处
理结果得到监督分支网络的监督损失函数。并基于一致性分支网络对第 一遥感图像和第二遥感图像进行处理，并根据处理结果得到一致性分支网络的 一致性损失函数。
72.在获取到监督损失函数和一致性损失函数之后，执行步骤105。
73.步骤105：基于所述监督损失函数和所述一致性损失函数，计算得到模型 损失函数。
74.在获取到监督损失函数和一致性损失函数之后，可以基于监督损失函数和 一致性损失函数，计算得到模型损失函数。
75.在基于监督损失函数和一致性损失函数计算得到模型损失函数之后，执行 步骤106。
76.步骤106：根据所述模型损失函数调整所述初始高分辨率遥感图像实例分 割模型的模型参数，并迭代上述过程，直至得到目标高分辨率遥感图像实例分 割模型。
77.在获取到模型损失函数之后，可以根据模型损失函数调整初始高分辨率遥 感图像实例分割模型的模型参数，并迭代执行上述过程，直至得到目标高分辨 率遥感图像实例分割模型。
78.对于模型训练过程可以结合图2进行如下详细描述。
79.在本实施例中，模型训练过程可以包括如下步骤：
80.步骤1，网络包含两个分支：监督分支和一致性分支，对于监督分支，其 输入数据为有标注数据，输入数据大小为800
×
800。整个监督分支流程与经典实 例分割网络mask r-cnn一致，此分支得到网络的监督损失函数l
sup
；
81.步骤2，对于一致性分支，其输入数据为标注数据和未标注数据，输入数 据大小为800
×
800。首先将标注数据和未标注数据进行水平翻转得到新的数据， 然后将翻转前后的两组数据一起输入到特征提取骨干网络中提取特征，其中特 征提取骨干网络选择的是resnet-50(residual neural network of 50layers) 和fpn(feature pyramid networks)的组合，参数的初始值使用pytorch官网 里提供的resnet-50预训练模型。特征提取骨干网络输出标注数据和未标注数 据的特征图f及翻转后数据的特征图f
′
；
82.步骤3，将标注数据和未标注数据的特征图f和f
′
输入到区域生成网络中 预测候选框的坐标回归特征矩阵，然后基于预测的前景概率分数由大到小对候 选框进行排序。同时剔除超出输入图像边界或者尺寸过小的候选框。候选框经 过非极大值抑制操作后，仅保留前2000个候选框b(f)，并将b(f)水平翻转作 为翻转后数据的候选框b(f
′
)；
83.步骤4，将步骤3得到候选框b(f)、b(f
′
)和对应的特征图f、f
′
分别输 入到边界框特征提取器中提取特征，其中边界框特征提取器包括两个全连接层 和两个relu函数。然后将提取的感兴趣候选框特征送入边界框预测模块预测 候选框b(f)、b(f
′
)的类别概率分数向量f
cls
(f)、f
cls
(f
′
)以及位置偏移变化量 f
loc
(f)、f
loc
(f
′
)，其中边界框预测模块包括两路分支：一路分支由一个全连接层 及一个softmax层组成，对预测的候选框做类别预测，而另一路分支则仅包含 一个全连接层，再次输出更精确的候选框坐标回归特征矩阵；
84.步骤5，将候选框b(f)的预测类别概率分数向量f
cls
(f)送入背景剔除模块 剔除不符合要求的候选框。具体操作是首先得到每个候选框类别概率分数最大 的类别，如果该类别为背景类，则在b(f)以及b(f
′
)中剔除该候选框，否则保留；
85.步骤6，对于经过背景剔除模块保留下来的候选框b1(f)以及b1(f
′
)，分别 计算其
分类一致性损失函数以及位置一致性损失 函数其中k表示候选框b1(f)以及b1(f
′
)中的第k个 候选框，jsd(
·
)表示js(jensen-shannon)散度损失函数，l2(
·
)表示l2损失 函数，而e(
·
)则表示求期望；
86.步骤7，对候选框b1(f)以及b1(f
′
)进行随机挑选，将挑选出的n个候选框 bn(f)、bn(f
′
)以及对应的特征图f、f
′
送入掩膜特征提取器中提取候选框 bn(f)、bn(f
′
)的特征，其中掩膜特征提取器本质是一个全连接网络。并将提取 的感兴趣掩膜特征送入掩膜预测模块，预测得到候选框bn(f)、bn(f
′
)的掩膜预 测输出f
mask
(f)、f
mask
(f
′
)，其中掩膜预测模块包括一个全连接层及一个sigmoid 函数，其作用是根据输入特征预测候选框的掩膜输出；
87.步骤8，对候选框bn(f)、bn(f
′
)的掩膜预测输出f
mask
(f)、f
mask
(f
′
)计算掩 膜一致性损失函数其中flip(
·
)表示对掩 膜进行水平翻转操作；
88.步骤9，整个网络的损失函数l＝l
sup
+ω(iter)
×
l
con
，其中l
sup
为监督分支损 失函数，l
con
为一致性分支损失函数，计算方式为l
con
＝l
con-cls
+l
con-loc
+l
con-mask
。 ω(iter)为一致性分支损失函数的权重函数，与迭代次数有关： 其中iter为当前迭代次数，r
start
为 3个周期的总迭代次数，r
end
为10个周期的总迭代次数，而iter
max
为所有周期， 即12个周期的总迭代次数。
89.在实验过程中，本方法选用isaid数据集的训练集和验证集进行模型训练， 测试集进行模型测试。isaid数据集可用于遥感图像实例分割任务，包含15类 目标。经过裁剪后，训练集有18,100张800
×
800大小的图像，验证集有5,896 张800
×
800大小的图像，而测试集有19,377张800
×
800大小的图像。
90.模型训练过程中使用4块titan xp gpus同时训练，总内存是12gb
×
4。 实验中的输入数据批次大小为4，保证每一批量输入中包含一张标注数据和三 张未标注的数据。该模型采用动量值为0.9的随机梯度下降训练模型。初始学 习率为0.01，并采用多阶段学习率策略调整学习率，即在第8个和第11个epoch 时分别将学习率减少到之前的0.1，以确保网络模型收敛。
91.测试过程中，本方法采用的分析指标为平均精度(ap)，实验结果如表1所 示。由平均精度可知，本方法在有限标注数据条件下，可利用未标注数据获得 优于全监督模型的分割精度。
92.表1基半监督学习的遥感图像实例分割精度分析
[0093][0094]
本发明实施例通过采用基于半监督学习的遥感图像实例分割方法，能够有 效地利用未标注数据来提高模型分割精度，缓解有限标注数据带来的难题。
[0095]
实施例二
[0096]
参照图3，示出了本发明实施例提供的一种高分辨率遥感图像实例分割模 型的训练装置的结构示意图，如图3所示，该高分辨率遥感图像实例分割模型 的训练装置可以包括如下模块：
[0097]
遥感图像获取模块310，用于获取有标签的第一遥感图像和无标签的第二 遥感图像；
[0098]
遥感图像输入模块320，用于将所述第一遥感图像和所述第二遥感图像输 入至初始高分辨率遥感图像实例分割模型；所述初始高分辨率遥感图像实例分 割模型包括：监督分支网络和一致性分支网络，
[0099]
监督损失函数获取模块330，用于基于所述监督分支网络对所述第一遥感 图像进行处理，并根据处理结果得到所述监督分支网络的监督损失函数；
[0100]
一致性损失函数获取模块340，用于基于所述一致性分支网络对所述第一 遥感图像和所述第二遥感图像进行处理，并根据处理结果得到所述一致性分支 网络的一致性损失函数；
[0101]
模型损失函数计算模块350，用于基于所述监督损失函数和所述一致性损 失函数，计算得到模型损失函数；
[0102]
目标分割模型获取模块360，用于根据所述模型损失函数调整所述初始高 分辨率遥感图像实例分割模型的模型参数，并迭代上述过程，直至得到目标高 分辨率遥感图像实例分割模型。
[0103]
可选地，所述一致性分支网络包括：特征提取骨干网络层、区域生成网络、 边界框特征提取器、边界框预测模块和掩膜预测器，其中，
[0104]
所述一致性损失函数获取模块包括：
[0105]
翻转图像获取单元，用于对所述第一遥感图像和所述第二遥感图像进行水 平翻转处理，分别得到第一翻转图像和第二翻转图像；
[0106]
特征图获取单元，用于调用所述特征提取骨干网络层对所述第一翻转图像 和所述第二翻转图像分别进行图像特征提取处理，得到相应的第一特征图和第 二特征图；
[0107]
候选框获取单元，用于调用所述区域生成网络预测得到所述第一特征图对 应的第一候选框和所述第二特征图对应的第二候选框；
[0108]
候选框特征提取单元，用于调用所述边界框特征提取器提取所述第一特征 图中的所述第一候选框对应的第一候选框特征，及所述第二特征图中的所述第 二候选框对应的第二候选框特征；
[0109]
概率分数获取单元，用于调用所述边界框预测模块对所述第一候选框特征 进行
处理，得到第一类别概率分数向量和第一位置偏移变化量，并对所述第二 候选框特征进行处理，得到第二类别概率分数向量和第二位置偏移变化量；
[0110]
一致性损失函数获取单元，用于调用所述掩膜预测器对所述第一类别概率 分数向量和所述第一位置偏移变化量进行处理，得到所述一致性损失函数。
[0111]
可选地，所述模型损失函数计算模块包括：
[0112]
损失权重获取单元，用于获取所述一致性损失函数对应的损失权重；
[0113]
模型损失函数计算单元，用于基于所述监督损失函数、所述一致性损失函 数和所述损失权重，计算得到所述模型损失函数。
[0114]
可选地，所述翻转图像获取单元包括：
[0115]
翻转图像获取子单元，用于以所述第一遥感图像和所述第二遥感图像的中 线为轴翻转180度，得到所述第一翻转图像和所述第二翻转图像。
[0116]
可选地，所述一致性分支网络还包括：背景剔除模块，其中，
[0117]
所述装置还包括：
[0118]
候选框剔除模块，用于调用所述背景剔除模块根据所述第一类别概率分数 向量和所述第二类别概率分数向量，剔除所述第一候选框和所述第二候选框中 不符合要求的候选框。
[0119]
本技术所述具体实施方式可以使本领域的技术人员更全面地理解本技术， 但不以任何方式限制本技术。因此，本领域技术人员应当理解，仍然对本技术 进行修改或者等同替换；而一切不脱离本技术的精神和技术实质的技术方案及 其改进，均应涵盖在本技术专利的保护范围中。
[0120]
本发明说明书中未作详细描述的内容属本领域技术人员的公知技术。

技术特征：
1.一种高分辨率遥感图像实例分割模型的训练方法，其特征在于，包括：获取有标签的第一遥感图像和无标签的第二遥感图像；将所述第一遥感图像和所述第二遥感图像输入至初始高分辨率遥感图像实例分割模型；所述初始高分辨率遥感图像实例分割模型包括：监督分支网络和一致性分支网络；基于所述监督分支网络对所述第一遥感图像进行处理，并根据处理结果得到所述监督分支网络的监督损失函数；基于所述一致性分支网络对所述第一遥感图像和所述第二遥感图像进行处理，并根据处理结果得到所述一致性分支网络的一致性损失函数；基于所述监督损失函数和所述一致性损失函数，计算得到模型损失函数；根据所述模型损失函数调整所述初始高分辨率遥感图像实例分割模型的模型参数，并迭代上述过程，直至得到目标高分辨率遥感图像实例分割模型。2.根据权利要求1所述的方法，其特征在于，所述一致性分支网络包括：特征提取骨干网络层、区域生成网络、边界框特征提取器、边界框预测模块和掩膜预测器，其中，所述基于所述一致性分支网络对所述第一遥感图像和所述第二遥感图像进行处理，并根据处理结果得到所述一致性分支网络的一致性损失函数，包括：对所述第一遥感图像和所述第二遥感图像进行水平翻转处理，分别得到第一翻转图像和第二翻转图像；调用所述特征提取骨干网络层对所述第一翻转图像和所述第二翻转图像分别进行图像特征提取处理，得到相应的第一特征图和第二特征图；调用所述区域生成网络预测得到所述第一特征图对应的第一候选框和所述第二特征图对应的第二候选框；调用所述边界框特征提取器提取所述第一特征图中的所述第一候选框对应的第一候选框特征，及所述第二特征图中的所述第二候选框对应的第二候选框特征；调用所述边界框预测模块对所述第一候选框特征进行处理，得到第一类别概率分数向量和第一位置偏移变化量，并对所述第二候选框特征进行处理，得到第二类别概率分数向量和第二位置偏移变化量；调用所述掩膜预测器对所述第一类别概率分数向量和所述第一位置偏移变化量进行处理，得到所述一致性损失函数。3.根据权利要求1所述的方法，其特征在于，所述基于所述监督损失函数和所述一致性损失函数，计算得到模型损失函数，包括：获取所述一致性损失函数对应的损失权重；基于所述监督损失函数、所述一致性损失函数和所述损失权重，计算得到所述模型损失函数。4.根据权利要求2所述的方法，其特征在于，所述对所述第一遥感图像和所述第二遥感图像进行水平翻转处理，分别得到第一翻转图像和第二翻转图像，包括：以所述第一遥感图像和所述第二遥感图像的中线为轴翻转180度，得到所述第一翻转图像和所述第二翻转图像。5.根据权利要求2所述的方法，其特征在于，所述一致性分支网络还包括：背景剔除模块，其中，
在所述调用所述掩膜预测器对所述第一类别概率分数向量和所述第一位置偏移变化量进行处理，得到所述第二预测目标实例，并对所述第二类别概率分数向量和所述第二位置偏移变化量进行处理，得到所述第三预测目标实例之前，还包括：调用所述背景剔除模块根据所述第一类别概率分数向量和所述第二类别概率分数向量，剔除所述第一候选框和所述第二候选框中不符合要求的候选框。6.一种高分辨率遥感图像实例分割模型的训练装置，其特征在于，包括：遥感图像获取模块，用于获取有标签的第一遥感图像和无标签的第二遥感图像；遥感图像输入模块，用于将所述第一遥感图像和所述第二遥感图像输入至初始高分辨率遥感图像实例分割模型；所述初始高分辨率遥感图像实例分割模型包括：监督分支网络和一致性分支网络；监督损失函数获取模块，用于基于所述监督分支网络对所述第一遥感图像进行处理，并根据处理结果得到所述监督分支网络的监督损失函数；一致性损失函数获取模块，用于基于所述一致性分支网络对所述第一遥感图像和所述第二遥感图像进行处理，并根据处理结果得到所述一致性分支网络的一致性损失函数；模型损失函数计算模块，用于基于所述监督损失函数和所述一致性损失函数，计算得到模型损失函数；目标分割模型获取模块，用于根据所述模型损失函数调整所述初始高分辨率遥感图像实例分割模型的模型参数，并迭代上述过程，直至得到目标高分辨率遥感图像实例分割模型。7.根据权利要求6所述的装置，其特征在于，所述一致性分支网络包括：特征提取骨干网络层、区域生成网络、边界框特征提取器、边界框预测模块和掩膜预测器，其中，所述一致性损失函数获取模块包括：翻转图像获取单元，用于对所述第一遥感图像和所述第二遥感图像进行水平翻转处理，分别得到第一翻转图像和第二翻转图像；特征图获取单元，用于调用所述特征提取骨干网络层对所述第一翻转图像和所述第二翻转图像分别进行图像特征提取处理，得到相应的第一特征图和第二特征图；候选框获取单元，用于调用所述区域生成网络预测得到所述第一特征图对应的第一候选框和所述第二特征图对应的第二候选框；候选框特征提取单元，用于调用所述边界框特征提取器提取所述第一特征图中的所述第一候选框对应的第一候选框特征，及所述第二特征图中的所述第二候选框对应的第二候选框特征；概率分数获取单元，用于调用所述边界框预测模块对所述第一候选框特征进行处理，得到第一类别概率分数向量和第一位置偏移变化量，并对所述第二候选框特征进行处理，得到第二类别概率分数向量和第二位置偏移变化量；一致性损失函数获取单元，用于调用所述掩膜预测器对所述第一类别概率分数向量和所述第一位置偏移变化量进行处理，得到所述一致性损失函数。8.根据权利要求6所述的装置，其特征在于，所述模型损失函数计算模块包括：损失权重获取单元，用于获取所述一致性损失函数对应的损失权重；模型损失函数计算单元，用于基于所述监督损失函数、所述一致性损失函数和所述损
失权重，计算得到所述模型损失函数。9.根据权利要求7所述的装置，其特征在于，所述翻转图像获取单元包括：翻转图像获取子单元，用于以所述第一遥感图像和所述第二遥感图像的中线为轴翻转180度，得到所述第一翻转图像和所述第二翻转图像。10.根据权利要求7所述的装置，其特征在于，所述一致性分支网络还包括：背景剔除模块，其中，所述装置还包括：候选框剔除模块，用于调用所述背景剔除模块根据所述第一类别概率分数向量和所述第二类别概率分数向量，剔除所述第一候选框和所述第二候选框中不符合要求的候选框。

技术总结
本发明公开了一种高分辨率遥感图像实例分割模型的训练方法及装置。包括：获取有标签的第一遥感图像和无标签的第二遥感图像；将第一遥感图像和第二遥感图像输入至初始高分辨率遥感图像实例分割模型；基于监督分支网络对第一遥感图像进行处理，并根据处理结果得到监督分支网络的监督损失函数；基于一致性分支网络对第一遥感图像和第二遥感图像进行处理，并根据处理结果得到一致性分支网络的一致性损失函数；基于监督损失函数和一致性损失函数，计算得到模型损失函数；根据模型损失函数调整初始高分辨率遥感图像实例分割模型的模型参数，并迭代上述过程，直至得到目标高分辨率遥感图像实例分割模型。本发明可以有效地利用未标注数据提高模型分割精度。标注数据提高模型分割精度。标注数据提高模型分割精度。


技术研发人员：张鹏 章一骥 马天舒 尹鹏飞 潘婷 张瑞祥 杨文
受保护的技术使用者：航天恒星科技有限公司
技术研发日：2021.08.26
技术公布日：2022/3/8