一种基于深度学习的服装图像自动分割方法和机构

1.本发明属于服装图像自动分割技术领域，具体涉及一种基于深度学习的服装图像自动分割方法和机构。


背景技术：

2.图像分割技术作为图像预处理部分，在织物疵点检验、织物图案轮廓提取、服装轮廓提取、服装图像轮廓提取、服装图像检索等方面得到了广泛的应用，但在实际应用之中，仍存在不少问题。
3.现有方案一般是采用卷积神经网络方法副服装图像进行分割，此方法能够准确定位出服装在图像中的位置，但图像分割边缘效果提取一般，且对训练集质量有一定要求。
4.grabcut算法是一种基于图论的图像分割方法，虽然具有精度高的优点，但也存在缺点：需要用户少量人工交互，不能实现批量图片自动处理；单一背景和复杂背景提取效果差别大。


技术实现要素：

5.本发明所要解决的技术问题是：提供了一种基于深度学习的服装图像自动分割方法和机构。
6.本发明解决其技术问题所采用的技术方案是：提供了一种基于深度学习的服装图像自动分割方法，包括：
7.收集一定数量的服装图像数据，对卷积姿态机网络进行训练，输出服装关键点模型；
8.输入待处理图像，获取服装关键点模型，在待处理图像上形成grabcut初始矩形框；
9.对形成grabcut初始矩形框的待处理图像进行分割处理。
10.进一步，所述卷积姿态机网络，具体包括：
11.初始化阶段，输入图像经过卷积池化网络进行特征提取后，再经过卷积网络生成第一置信度图，输出前向特征映射，得到关键点图像位置；
12.强化阶段，输入图像经过卷积池化网络后与初始化阶段输出的前向特征映射进行融合，再次经过卷积网络，生成第二置信度图。
13.进一步，得到关键点图像位置，具体包括：
14.载入数据，对数据进行归一化处理，并进行数据增强；
15.定义参数，进行模型输入；
16.对卷积姿态机进行模型定义，使用一个初始阶段和六个强化阶段；
17.对损失函数和优化器进行定义。
18.进一步，所述在待处理图像上形成grabcut初始矩形框，具体包括：
19.获取卷积姿态机网络形成的关键点图像位置，得到关键点信息；
20.统计所有关键点信息，计算出grabcut初始矩形框的四个顶点坐标。
21.进一步，所述关键点信息，具体包括：最小横坐标x
min
、最大横坐标x
max
、最小纵坐标y
min
、最大纵坐标y
max
及圆圈半径r。
22.进一步，所述计算出grabcut初始矩形框的四个顶点坐标，计算公式具体包括：
23.左上顶点坐标：x左上＝max(x
min-r
,0)、y左上＝max(y
min-r
,0)
24.右上顶点坐标：x右上＝min(x
max+r
,image_width)、y右上＝max(y
min-r
,0)
25.左下顶点坐标：x左下＝max(x
min-r
,0)、y左下＝min(y
max+r
,image_height)
26.右下顶点坐标：x右下＝min(x
max+r
,image_width)、y右下＝min(y
max+r
,image_height)
27.进一步，所述对形成grabcut初始矩形框的待处理图像进行分割处理，具体包括：
28.s1，选用所述grabcut初始矩形框，将前景目标部分设置为空集；所述grabcut初始矩形框外即为初始背景；
29.s2，采用高斯混合模型对背景和前景目标进行建模，计算高斯混合模型参数；
30.s3，根据高斯混合模型参数计算最小能量值，进行图像分割；
31.s4，重复s2和s3，迭代执行，实现能量最小化目标，直至收敛；
32.s5，完成边界优化与分割。
33.一种基于深度学习的服装图像自动分割机构，包括：
34.存储模块，用于存储收集的服装图像数据；
35.学习模块，用于对卷积姿态机网络进行训练，并输出服装关键点模型；
36.接收模块，用于接收用户输入的待处理图像；
37.模型获取模块，用于在所述接收模块接收到所述待处理图像后，获取学习模块中的服装关键点模型；
38.初始框处理模块，用于在获取服装关键点模型后，在待处理图像上形成grabcut初始矩形框；
39.图像处理模块，用于在形成grabcut初始矩形框后对待处理图像进行分割处理；
40.输出模块，用于将分割处理结束的图像输出。
41.一种网络侧服务端，包括：
42.至少一个处理器；以及，
43.与所述至少一个处理器通信连接的存储器；其中，
44.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的基于深度学习的服装图像自动分割方法。
45.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于深度学习的服装图像自动分割方法。
46.本发明的有益效果是：本发明在深度学习方面选用了卷积姿态机网络来负责检测图像中服装的关键点，并形成了grabcut算法的初始矩形框，在图像处理方法上则采用了grabcut算法，使服装从图像中分割出来。采用这种方式后，利用卷积姿态机网络输出关键点信息，得到关键点信息所在图片的横坐标和纵坐标以及圆圈半径，以此来形成grabcut初始矩形框，提高了背景提取效果。不仅解决了人工交互的问题，实现了图像自动提取的目
的，而且对复杂背景的图像也具有优秀的分割效果，对于大批量的服装图像自动分割处理，具有较强的实用性。
附图说明
47.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。现在结合附图对本发明作详细的说明。此图为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
48.图1是根据本发明第一实施方式提供的基于深度学习的服装图像自动分割方法流程图；
49.图2是根据本发明第一实施方式提供的基于深度学习的服装图像自动分割方法中的卷积姿态机网络的结构简图；
50.图3是根据本发明第二实施方式提供的基于深度学习的服装图像自动分割机构的结构示意图；
51.图4是根据本发明第三实施方式提供的网络侧服务端的结构示意图。
具体实施方式
52.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
53.本发明的第一实施方式涉及一种基于深度学习的服装图像自动分割方法，在本实施方式中，首先通过天池fashionai数据集对卷积姿态机网络进行训练，而后通过卷积姿态机网络输出服装关键点模型；输入待处理图片后，根据服装关键点模型输出服装关键点信息，通过服装关键点信息计算获得初始矩形框，以此初始矩形框作为grabcut算法的输入，利用grabcut算法输出服装图像轮廓分割结果。实现了自动提取图像的目的，对于复杂背景的图像分割也具有很好的分割效果，在针对大批量服装图像自动分割时，具有较强的实用性。
54.下面对本实施方式的基于深度学习的服装图像自动分割方法的实现细节进行具体的说明，以下内容仅为方便理解提供的实现细节，并非实施本方案的必须，本实施方式的具体流程如图1-2所示，本实施方式应用于网络侧的服务端。
55.步骤101，收集一定数量的服装图像数据，对卷积姿态机网络进行训练，输出服装关键点模型；
56.卷积池化网络训练参数设置如下：
57.设置有1个初始化阶段和6个强化阶段、batch_size＝16(一次性读取照片数量)、heatmap_size＝32(热力图大小)、learning_rate＝0.01(学习率)、decay_steps＝100(衰减频率)、decay_rate＝0.9(衰减率)。
58.如图2所示，所述卷积姿态机的网络结构包括1个初始化阶段和6个强化阶段。
59.其中，初始化阶段，输入图像经过卷积池化网络x1进行特征提取后，再经过卷积网络g1生成第一置信度图b1，输出前向特征映射φ2，得到关键点图像位置；
60.强化阶段，输入图像经过卷积池化网络x2进行特征提取后，与初始化阶段输出的前向特征映射φ2进行融合，再次经过卷积网络g2，生成第二置信度图b2。
61.服装关键点模型检测实现过程包括：载入数据，对数据进行归一化处理，并进行数据增强；
62.定义参数，进行模型输入；
63.对卷积姿态机进行模型定义，使用一个初始阶段和六个强化阶段；
64.对损失函数和优化器进行定义。
65.步骤102，输入待处理图像，获取服装关键点模型，在待处理图像上形成grabcut初始矩形框；
66.根据卷积姿态机网络输出的服装关键点模型，获取各个关键点信息，包括所有关键点信息的最小最小横坐标x
min
、最大横坐标x
max
、最小纵坐标y
min
、最大纵坐标y
max
及圆圈半径r。
67.计算出grabcut初始矩形框的四个顶点坐标，计算公式具体包括：
68.左上顶点坐标：x左上＝max(x
min-r
,0)、y左上＝max(y
min-r
,0)
69.右上顶点坐标：x右上＝min(x
max+r
,image_width)、y右上＝max(y
min-r
,0)
70.左下顶点坐标：x左下＝max(x
min-r
,0)、y左下＝min(y
max+r
,image_height)
71.右下顶点坐标：x右下＝min(x
max+r
,image_width)、y右下＝min(y
max+r
,image_height)。
72.其中，关键点信息表示为服装中的各个关键部位，例如，在连衣裙中，关键点包括左领部、右领部、中线、左肩部、右肩部、左袖口外、左袖口内、右袖口外、右袖口内、左腋窝、右腋窝、左裙摆、右裙摆。
73.步骤103，对形成grabcut初始矩形框的待处理图像进行分割处理。
74.在步骤102中grabcut初始矩形框建立后，矩形框外即为初始背景，将前景目标部分设置为空集。采用高斯混合模型对背景和前景目标进行建模，计算出高斯混合模型参数。根据高斯混合模型参数，计算最小能量值，对待处理图像进行第一次图像分割。第一次分割结束后，再次根据高斯混合模型参数，计算能量最小值，进行第二次图像分割。继续迭代执行，实现能量最小化目标，直至收敛，完成边界优化与分割，输出处理完成的图像。
75.本发明的第一实施方式通过训练卷积姿态机网络来形成grabcut算法的初始矩形框，在单一背景下，本发明和传统基于人工交互grabcut方法相比，均交并比(miou)下降1.42％，非常接近；但在复杂背景下，由于本发明基于卷积姿态机对服装进行了很好的关键点定位且人工交互具有一定主观性，其分割效果反而比传统基于人工交互grab cut方法要好，均交并比(miou)提升了2.12％，提高了仅仅利用grabcut算法形成的初始矩形框的精度，解决了人工交互的问题，同时也实现了图像自动提取的目的，对复杂图像的分割也具有十分优秀的分割效果，对于大批量的服装图像自动分割，具有较强的实用性。
76.上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法
和流程的核心设计都在该专利的保护范围内。
77.本发明第二实施方式涉及了一种基于深度学习的服装图像自动分割机构。如图3所示，包括：存储模块201，学习模块202，模型获取模块203，接收模块204，初始框处理模块405，图像处理模块206，输出模块207。
78.具体地说，存储模块201，用于存储收集的服装图像数据；学习模块202，用于对卷积姿态机网络进行训练，并输出服装关键点模型；接收模块204，用于接收用户输入的待处理图像；模型获取模块203，用于在所述接收模块接收到所述待处理图像后，获取学习模块中的服装关键点模型；初始框处理模块205，用于在获取服装关键点模型后，在待处理图像上形成grabcut初始矩形框；图像处理模块206，用于在形成grabcut初始矩形框后对待处理图像进行分割处理；输出模块207，用于将分割处理结束的图像输出。
79.不难发现，本实施方式为与第一实施方式相对应的系统实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
80.与现有技术相比，本实施方式提供了一种基于深度学习的服装图像自动分割机构，首先通过存储模块201存储天池fashionai数据集，并将天池fashionai数据集所包含的数据传输至学习模块202，学习模块202利用天池fashionai的数据对卷积姿态机网络进行训练后，输出服装关键点模型。模型获取模块203获取生成的服装关键点模型，并从中提取服装关键点信息。接收模型204用于接收用户输入的待处理图像。初始框处理205模块通过服装关键点模型并在待处理图像上形成grabcut初始矩形框，图像处理模块206对形成了grabcut初始矩形框的图像进行再次处理，并通过输出模块207输出处理完成的图像。通过基于深度学习的服装图像自动分割机构能够实现大批量服装图像的自动分割。
81.在用户进行图像处理时，将所查询的数据根据不同用户的身份标识采用不同的脱敏策略进行脱敏处理，将原始数据中的敏感数据按照数据规则进行数据转换，再将脱敏处理后的数据反馈给用户，保证不同身份的用户看到的结果不同，完全授权用户，可以看到真实数据，部分授权用户看到部分真实数据，对完全限制者，看到的是完全脱敏后的数据，从而在不改变原始数据的值的情况下，动态实时地保护了隐私数据。
82.值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
83.本发明第三实施方式涉及一种网络侧服务端，如图4所示，包括至少一个处理器301；以及，与至少一个处理器301通信连接的存储器302；其中，存储器302存储有可被至少一个处理器301执行的指令，指令被至少一个处理器301执行，以使至少一个处理器301能够执行上述的敏感数据的保护方法。
84.其中，存储器302和处理器301采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器301和存储器302的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是
本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器301处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器301。
85.处理器301负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器302可以被用于存储处理器301在执行操作时所使用的数据。
86.本发明第五实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现第一实施方式中的基于深度学习的服装图像自动分割机构。
87.即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
88.以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关的工作人员完全可以在不偏离本发明的范围内，进行多样的变更以及修改。本项发明的技术范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

技术特征：
1.一种基于深度学习的服装图像自动分割方法，其特征在于，包括：收集一定数量的服装图像数据，对卷积姿态机网络进行训练，输出服装关键点模型；输入待处理图像，获取服装关键点模型，在待处理图像上形成grabcut初始矩形框；对形成grabcut初始矩形框的待处理图像进行分割处理。2.根据权利要求1所述的基于深度学习的服装图像自动分割方法，其特征在于，所述卷积姿态机网络，具体包括：初始化阶段，输入图像经过卷积池化网络进行特征提取后，再经过卷积网络生成第一置信度图，输出前向特征映射，得到关键点图像位置；强化阶段，输入图像经过卷积池化网络后与初始化阶段输出的前向特征映射进行融合，再次经过卷积网络，生成第二置信度图。3.根据权利要求2所述的基于深度学习的服装图像自动分割方法，其特征在于，得到关键点图像位置，具体包括：载入数据，对数据进行归一化处理，并进行数据增强；定义参数，进行模型输入；对卷积姿态机进行模型定义，使用一个初始阶段和六个强化阶段；对损失函数和优化器进行定义。4.根据权利要求1所述的基于深度学习的服装图像自动分割方法，其特征在于，所述在待处理图像上形成grabcut初始矩形框，具体包括：获取卷积姿态机网络形成的关键点图像位置，得到关键点信息；统计所有关键点信息，计算出grabcut初始矩形框的四个顶点坐标。5.根据权利要求4所述的基于深度学习的服装图像自动分割方法，其特征在于，所述关键点信息，具体包括：最小横坐标x
min
、最大横坐标x
max
、最小纵坐标y
min
、最大纵坐标y
max
及圆圈半径r。6.根据权利要求4所述的基于深度学习的服装图像自动分割方法，其特征在于，所述计算出grabcut初始矩形框的四个顶点坐标，计算公式具体包括：左上顶点坐标：x左上＝max(x
min-r
,0)、y左上＝max(y
min-r
,0)右上顶点坐标：x右上＝min(x
max+r
,image_width)、y右上＝max(y
min-r
,0)左下顶点坐标：x左下＝max(x
min-r
,0)、y左下＝min(y
max+r
,image_height)右下顶点坐标：x右下＝min(x
max+r
,image_width)、y右下＝min(y
max+r
,image_height)。7.根据权利要求6所述的基于深度学习的服装图像自动分割方法，其特征在于，所述对形成grabcut初始矩形框的待处理图像进行分割处理，具体包括：s1，选用所述grabcut初始矩形框，将前景目标部分设置为空集；所述grabcut初始矩形框外即为初始背景；s2，采用高斯混合模型对背景和前景目标进行建模，计算高斯混合模型参数；s3，根据高斯混合模型参数计算最小能量值，进行图像分割；s4，重复s2和s3，迭代执行，实现能量最小化目标，直至收敛；s5，完成边界优化与分割。8.一种基于深度学习的服装图像自动分割机构，其特征在于，包括：存储模块，用于存储收集的服装图像数据；
学习模块，用于对卷积姿态机网络进行训练，并输出服装关键点模型；接收模块，用于接收用户输入的待处理图像；模型获取模块，用于在所述接收模块接收到所述待处理图像后，获取学习模块中的服装关键点模型；初始框处理模块，用于在获取服装关键点模型后，在待处理图像上形成grabcut初始矩形框；图像处理模块，用于在形成grabcut初始矩形框后对待处理图像进行分割处理；输出模块，用于将分割处理结束的图像输出。9.一种网络侧服务端，其特征在于，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一项所述的基于深度学习的服装图像自动分割方法。10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于深度学习的服装图像自动分割方法。

技术总结
本发明属于服装图像自动分割技术领域，具体涉及一种基于深度学习的服装图像自动分割方法和机构。基于深度学习的服装图像自动分割方法，包括：收集一定数量的服装图像数据，对卷积姿态机网络进行训练，输出服装关键点模型；输入待处理图像，获取服装关键点模型，在待处理图像上形成GrabCut初始矩形框；对形成GrabCut初始矩形框的待处理图像进行分割处理。本发明利用卷积姿态机网络输出关键点信息，得到关键点信息所在图片的横坐标和纵坐标以及圆圈半径，以此来形成GrabCut初始矩形框，提高背景提取效果。不仅解决了人工交互的问题，实现了图像自动提取的目的，而且对复杂背景的图像也具有优秀的分割效果，对于大批量的服装图像自动分割处理，具有较强的实用性。具有较强的实用性。具有较强的实用性。


技术研发人员：游小荣 李淑芳
受保护的技术使用者：常州纺织服装职业技术学院
技术研发日：2021.12.06
技术公布日：2022/3/8