基于卷积神经网络的证件照口红识别方法、装置、介质及设备与流程

1.本发明涉及数据处理技术领域，尤其涉及一种基于卷积神经网络的证件照口红识别方法、装置、介质及设备。


背景技术：

2.在使用证件照设备拍摄证件照时，用户必须严格按照证件照的标准进行梳妆打扮，各式各样的口红涂抹严重影响了证件照拍摄的质量，达不到证件照的标准。现有技术在进行口红筛选时是通过后台人工去筛选，这种方法费时费力，而且检查人员容易疲劳，在状态不好的情况下，误识别率较大。
3.在现有技术中，cn201910858868.8公开的专利提供一种口红色号识别方法及装置，通过色调、饱和度及亮度信息，确定面部图像中的口红色号。该方法虽然说从一定程度上提高了口红识别的准确性，但是在光线有变化、环境复杂、嘴唇有部分病变的时候无法进行有效识别及稳定识别。


技术实现要素：

4.本发明实施例提供了一种基于卷积神经网络的证件照口红识别方法、装置、介质及设备，以解决现有技术在光线有变化、环境复杂、嘴唇有部分病变的时候无法对证件照中的口红进行有效识别及稳定识别的问题。
5.一种基于卷积神经网络的证件照口红识别方法，所述方法包括：
6.获取图像训练集，对所述图像训练集中的每一个训练样本进行预处理，得到训练样本对应的嘴唇区域的rgb空间图像；
7.将所述训练样本对应的嘴唇区域的rgb空间图像转换为ycbcr空间图像，将所述rgb空间图像和ycbcr空间图像组成训练样本对；
8.构建卷积神经网络，采用所述训练样本对对所述卷积神经网络进行训练，得到口红识别模型；
9.获取待识别图像，对所述待识别图像进行预处理，通过训练好的所述口红识别模型对预处理后的待识别图像进行口红识别，得到所述待识别图像对应的类别概率，选择概率最大的类别标号作为所述待识别图像的口红识别结果。
10.可选地，所述获取图像训练集包括：
11.采集证件照拍摄设备从不同角度获取的若干个用户的涂口红图像若干张，作为涂抹口红正样本；
12.采集证件照拍摄设备从不同角度获取的若干个用户的未涂口红图像若干张，作为涂抹口红负样本。
13.可选地，所述对所述图像训练集中的每一个训练样本进行预处理，得到训练样本对应的嘴唇区域的rgb空间图像包括：
14.对于所述图像训练集中的每一个训练样本，采用seetaface人脸检测算法，基于68
点定位法提取所述训练样本中的人脸区域的嘴唇轮廓控制点；
15.采用polyline函数将所述嘴唇轮廓控制点进行顺序连接，形成闭合区域；
16.对所述闭合区域进行漫水法填充，形成嘴唇掩膜；
17.统计所述训练样本中嘴唇区域的总像素，根据所述总像素创建三通道图像；
18.获取所述嘴唇掩膜的rgb三通道对应的像素，将所述rgb三通道对应的像素填充至所述三通道图像，并通过插值变换将像素填充后的三通道图像的长宽转换为预设像素值，得到训练样本对应的嘴唇区域的rgb空间图像。
19.可选地，所述统计所述训练样本中嘴唇区域的总像素，根据所述总像素创建三通道图像包括：
20.统计所述训练样本中嘴唇区域的总像素n，创建长宽均为(n,n)的三通道图像，其中n＝floor(n)。
21.可选地，所述卷积神经网络包括第一组卷积、第二组卷积、第三组卷积、第一全连接层和第二全连接层，所述第一组卷积用于对rgb空间图像进行特征提取，所述第二组卷积用于对ycbcr空间图像进行特征提取；
22.所述第一组卷积和第二组卷积均包括四层，其中第一层卷积利用尺寸为(3,3,3,32)的卷积核对输入图像进行卷积，得到尺寸为(126，126,32)的特征图，接着利用leakyrelu激活函数进行激活，再利用最大池化卷积进行池化操作，得到尺寸为(63,63,32)的第一特征图；第二层卷积利用尺寸为(3,3,36,64)的卷积核对第一特征图进行卷积，得到尺寸为(61，61,64)的特征图，接着利用leakyrelu激活函数进行激活，再利用最大池化卷积进行池化操作，得到尺寸为(30，30,64)的第二特征图；第三层卷积利用尺寸为(3,3,64，128)的卷积核对第二特征图进行卷积，得到尺寸为(28，28,128)的特征图，接着利用leakyrelu激活函数进行激活，再利用最大池化卷积进行池化操作，得到尺寸为(14，14,128)的第三特征图；第四层卷积利用尺寸为(3,3，128,64)的卷积核对第三特征图进行卷积，得到尺寸为(12，12,128)的特征图，接着利用leakyrelu激活函数进行激活，再利用最大池化卷积进行池化操作，得到尺寸为(6，6,64)的第四特征图；
23.所述第三组卷积用于对所述rgb空间图像提取的特征图像和对所述ycbcr空间图像提取的特征图像进行拼接，得到(6,6,128)维的特征图，利用尺寸为(3,3,128,64)的卷积核对所述(6,6,128)维的特征图进行卷积，得到(4,4,64)维的特征图，利用leakyrelu激活函数进行激活以及进行展开，得到(4*4*64)维的特征向量；
24.所述(4*4*64)维的特征向量作为第一全连接层的输入，经过第一全连接层后得到1024维的特征向量，并利用leakyrelu激活函数进行激活，再经过第二全连接层得到2维的特征向量；
25.将2维的特征向量进行softmax归一化处理，得到类别概率。
26.可选地，所述卷积神经网络采用交叉熵作为训练损失函数。
27.可选地，所述采用所述训练样本对对所述卷积神经网络进行训练，得到口红识别模型包括：
28.将128个训练样本对作为一个批次输入所述卷积神经网络，使用sgd优化器对每个批次的交叉熵进行优化，并进行反向传播，当所述卷积神经网络的损失代价下降到预设精度时停止迭代；
29.将64个训练样本对作为一个批次输入所述卷积神经网络进行测试。
30.可选地，所述方法还包括：
31.对于口红识别结果为未涂抹口红的待识别图像，提取未涂抹口红区域的平均颜色；
32.提取所述待识别图像的嘴唇区域的图像纹理梯度，并提取嘴唇区域的alpha遮罩；
33.对所述待识别图像的嘴唇区域进行颜色校正；
34.其中，颜色校正的公式为：
35.g(x)＝(1-α)f0(x)+αf1(x)
36.其中f0(x)表示嘴唇区域的原像素，f1(x)表示的平均颜色，g(x)表示颜色校正后的图像，α表示alpha遮罩的融合比例。
37.一种基于卷积神经网络的证件照口红识别装置，所述装置包括：
38.预处理模块，用于获取图像训练集，对所述图像训练集中的每一个训练样本进行预处理，得到训练样本对应的嘴唇区域的rgb空间图像；
39.转换模块，用于将所述训练样本对应的嘴唇区域的rgb空间图像转换为ycbcr空间图像，将所述rgb空间图像和ycbcr空间图像组成训练样本对；
40.训练模块，用于构建卷积神经网络，采用所述训练样本对对所述卷积神经网络进行训练，得到口红识别模型；
41.识别模块，用于获取待识别图像，对所述待识别图像进行预处理，通过训练好的所述口红识别模型对预处理后的待识别图像进行口红识别，得到所述待识别图像对应的类别概率，选择概率最大的类别标号作为所述待识别图像的口红识别结果。
42.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的基于卷积神经网络的证件照口红识别方法。
43.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上所述的基于卷积神经网络的证件照口红识别方法。
44.本发明实施例通过获取图像训练集，对所述图像训练集中的每一个训练样本进行预处理，得到训练样本对应的嘴唇区域的rgb空间图像；将所述训练样本对应的嘴唇区域的rgb空间图像转换为ycbcr空间图像，将所述rgb空间图像和ycbcr空间图像组成训练样本对；构建卷积神经网络，采用所述训练样本对对所述卷积神经网络进行训练，得到口红识别模型；获取待识别图像，对所述待识别图像进行预处理，通过训练好的所述口红识别模型对预处理后的待识别图像进行口红识别，得到所述待识别图像对应的类别概率，选择概率最大的类别标号作为所述待识别图像的口红识别结果。本发明通过采用基于rgb空间和ycbcr空间的多维信息融合卷积神经网络来对证件照是否涂抹口红进行识别，有效地提高了口红识别的鲁棒性和准确率，在光线有变化、环境复杂、嘴唇有部分病变的时候也可对证件照中的口红进行有效识别及稳定识别。
附图说明
45.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施
例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
46.图1是本发明一实施例提供的基于卷积神经网络的证件照口红识别方法的流程图；
47.图2是本发明一实施例提供的基于卷积神经网络的证件照口红识别方法中步骤s101中预处理的实现流程图；
48.图3是本发明一实施例提供的卷积神经网络的结构示意图；
49.图4是本发明一实施例提供的基于卷积神经网络的证件照口红识别方法中步骤s103中模型训练的实现流程图；
50.图5是本发明一实施例提供的基于卷积神经网络的证件照口红识别装置的结构示意图；
51.图6是本发明一实施例中计算机设备的一示意图。
具体实施方式
52.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
53.本发明实施例通过采用基于rgb空间和ycbcr空间的多维信息融合卷积神经网络来对证件照是否涂抹口红进行识别，有效地提高了口红识别的鲁棒性和准确率，在光线有变化、环境复杂、嘴唇有部分病变的时候也可对证件照中的口红进行有效识别及稳定识别。
54.以下对本实施例提供的基于卷积神经网络的证件照口红识别方法进行详细的描述，如图1所示，所述基于卷积神经网络的证件照口红识别方法包括：
55.在步骤s101中，获取图像训练集，对所述图像训练集中的每一个训练样本进行预处理，得到训练样本对应的嘴唇区域的rgb空间图像。
56.可选地，作为本发明的一个优选示例，步骤s101中所述的获取图像训练集包括：
57.采集证件照拍摄设备从不同角度获取的若干个用户的涂口红图像若干张，作为涂抹口红正样本；
58.采集证件照拍摄设备从不同角度获取的若干个用户的未涂口红图像若干张，作为涂抹口红负样本。
59.示例性地，本发明实施例采集证件照设备拍到的200个志愿者所提供的不同角度的涂抹口红照各五张，总共1000张图像作为涂抹口红正样本；采集证件照设备拍到的200个志愿者所提供的不同角度的不涂抹口红照片各5张，总共1000张图像作为涂抹口红负样本。
60.可选地，作为本发明的一个优选示例，如图2所示，步骤s101中所述的对所述图像训练集中的每一个训练样本进行预处理，得到训练样本对应的嘴唇区域的rgb空间图像包括：
61.在步骤s201中，对于所述图像训练集中的每一个训练样本，采用seetaface人脸检测算法，基于68点定位法提取所述训练样本中的人脸区域的嘴唇轮廓控制点。
62.示例性地，本发明实施例利用68点定位法提取人脸区域的第48至64个点，作为嘴
唇轮廓控制点。
63.在步骤s202中，采用polyline函数将所述嘴唇轮廓控制点进行顺序连接，形成闭合区域。
64.在步骤s203中，对所述闭合区域进行漫水法填充，形成嘴唇掩膜。
65.在步骤s204中，统计所述训练样本中嘴唇区域的总像素，根据所述总像素创建三通道图像。
66.在这里，对于每一训练样本，本发明实施例统计所述训练样本中嘴唇区域的总像素n，创建长宽均为(n,n)的三通道图像xi，其中n＝floor(n)。
67.在步骤s205中，获取所述嘴唇掩膜的rgb三通道对应的像素，将所述rgb三通道对应的像素填充至所述三通道图像，并通过插值变换将像素填充后的三通道图像的长宽转换为预设像素值，得到训练样本对应的嘴唇区域的rgb空间图像。
68.其中，所述预设像素值为(128,128)。在得到长宽均为(n,n)的三通道图像xi之后，遍历该训练样本，根据嘴唇掩膜提取嘴唇区域的r、g、b三个通道对应的像素，并将r、g、b三通道颜色根据遍历信息填充至所述长宽均为(n,n)的三通道图像xi；之后对所述三通道图像xi进行插值变换，将其长宽变换成(128,128)。
69.同理，对图像训练集中的每一个训练样本，进行相同操作，得到与图像训练集对应的rgb空间图像集x＝{x1，
…
xi，
…
xn}及其口红标识信息y＝{y1，
…
yi，
…yn
}，其中yi表示第i个训练样本的口红标识信息，为涂抹口红或未涂抹口红。在实际应用中，可以随机从图像训练集对应的rgb空间图像集x＝{x1，
…
xi，
…
xn}中选取三分之二用于训练，剩下的三分之一用于测试。
70.在步骤s102中，将所述训练样本对应的嘴唇区域的rgb空间图像转换为ycbcr空间图像，将所述rgb空间图像和ycbcr空间图像组成训练样本对。
71.由于淡妆口红与未涂抹口红的颜色较接近，鉴于此本发明实施例需要将训练样本的图像特征同步转换为ycbcr空间，得到ycbcr空间图像，然后将所述rgb空间图像和ycbcr空间图像组成训练样本对，一同作为卷积神经网络的输入，以加大卷积神经网络对口红的区分性能。
72.其中，rgb空间图像转换为ycbcr空间图像的转换公式如下：
73.y＝0.299r+0.587g+0.114b
74.cb＝0.564(b-y)
75.cr＝0.713(r-y)
76.在上式中，r表示rgb色彩模式中的红色分量，g表示rgb色彩模式中的绿色分量，b表示rgb色彩模式中的蓝色分量。y表示ycbcr色彩模式中的亮度，cb表示蓝色的浓度偏移量成份，cr表示红色的浓度偏移量成份。
77.在步骤s103中，构建卷积神经网络，采用所述训练样本对对所述卷积神经网络进行训练，得到口红识别模型。
78.图3为本发明实施例提供的卷积神经网络的结构示意图。在这里，所述卷积神经网络包括第一组卷积、第二组卷积、第三组卷积、第一全连接层和第二全连接层，所述第一组卷积用于对rgb空间图像进行特征提取，所述第二组卷积用于对ycbcr空间图像进行特征提取。本发明实施例分别采用四层卷积对输入的训练样本对中的rgb空间图像和ycbcr空间图
像进行卷积操作，具体地：
79.所述第一组卷积和第二组卷积均包括四层，其中第一层卷积利用尺寸为(3,3,3,32)的卷积核对输入图像进行卷积，得到尺寸为(126，126,32)的特征图，接着利用leakyrelu激活函数进行激活，再利用最大池化卷积进行池化操作，得到尺寸为(63,63,32)的第一特征图；第二层卷积利用尺寸为(3,3,36,64)的卷积核对第一特征图进行卷积，得到尺寸为(61，61,64)的特征图，接着利用leakyrelu激活函数进行激活，再利用最大池化卷积进行池化操作，得到尺寸为(30，30,64)的第二特征图；第三层卷积利用尺寸为(3,3,64，128)的卷积核对第二特征图进行卷积，得到尺寸为(28，28,128)的特征图，接着利用leakyrelu激活函数进行激活，再利用最大池化卷积进行池化操作，得到尺寸为(14，14,128)的第三特征图；第四层卷积利用尺寸为(3,3，128,64)的卷积核对第三特征图进行卷积，得到尺寸为(12，12,128)的特征图，接着利用leakyrelu激活函数进行激活，再利用最大池化卷积进行池化操作，得到尺寸为(6，6,64)的第四特征图。
80.应当理解，所述第一组卷积和第二组卷积的结构相同，分别利用相同的卷积方式对输入的rgb空间图像和ycbcr空间图像进行卷积操作，分别得到尺寸均为(6,6,64)的特征图。
81.所述第三组卷积用于对所述rgb空间图像提取的特征图像和对所述ycbcr空间图像提取的特征图像进行拼接，得到(6,6,128)维的特征图，利用尺寸为(3,3,128,64)的卷积核对所述(6,6,128)维的特征图进行卷积，得到(4,4,64)维的特征图，利用leakyrelu激活函数进行激活以及进行展开，得到(4*4*64)维的特征向量；
82.所述(4*4*64)维的特征向量作为第一全连接层的输入，经过第一全连接层后得到1024维的特征向量，并利用leakyrelu激活函数进行激活，再经过第二全连接层得到2维的特征向量；
83.将2维的特征向量进行softmax归一化处理，最后得到类别概率。
84.可选地，作为本发明的一个优选示例，所述卷积神经网络采用交叉熵作为训练损失函数。其计算方式如下：
85.h(p,q)＝-∑(p(x)logq(x))。
86.其中，h(p,q)表示卷积神经网络对样本x的输出损失值，p(x)为样本x对应的类别向量值，q(x)为样本x的预测类别向量值，log(
·
)表示对数函数。
87.在构建好卷积神经网络后，对所述卷积神经网络进行训练。可选地，作为本发明的一个优选实例，如图4所示，所述采用所述训练样本对对所述卷积神经网络进行训练，得到口红识别模型包括：
88.在步骤s401中，将128个训练样本对作为一个批次输入所述卷积神经网络，使用sgd优化器对每个批次的交叉熵进行优化，并进行反向传播，当所述卷积神经网络的损失代价下降到预设精度时停止迭代。
89.在步骤s402中，将64个训练样本对作为一个批次输入所述卷积神经网络进行测试。
90.在这里，本发明实施例采用每批次128个训练样本对对所述卷积神经网络进行迭代训练，并在停止迭代后，采用每批次64个训练样本对对所述卷积神经网络进行测试，观察测试集的准确率和召回率。最终训练好的卷积神经网络，记为口红识别模型。
91.在步骤s104中，获取待识别图像，对所述待识别图像进行预处理，通过训练好的所述口红识别模型对预处理后的待识别图像进行口红识别，得到所述待识别图像对应的类别概率，选择概率最大的类别标号作为所述待识别图像的口红识别结果。
92.其中，所述对所述待识别图像进行预处理与上述实施例相同，具体参见上述实施例的叙述，此处不再赘述。将预处理后的所述待识别图像输入至所述口红识别模型，获取所述口红识别模型输出的所述待识别图像对应的类别概率。如前所述，所述类别概率为2维的特征向量，也即预测向量所述预测向量包括涂抹口红的概率和未涂抹口红的概率和未涂抹口红的概率本发明实施例根据所述类别概率计算所述待识别图像对应的类别标号δ，其中
93.综上所述，本发明通过采用基于rgb空间图像和ycbcr空间图像的多维信息融合卷积神经网络来对证件照是否涂抹口红进行识别，有效地提高了口红识别的鲁棒性和准确率，在光线有变化、环境复杂、嘴唇有部分病变的时候也可对证件照中的口红进行有效识别及稳定识别。
94.可选地，作为本发明的一个优选示例，对于口红标识信息为已涂抹口红的待识别图像，若口红识别模型输出的识别结果为未涂抹口红，本实施例还可以对所述待识别图像进行校正，所述方法还包括：
95.对于口红识别结果为未涂抹口红的待识别图像，提取未涂抹口红区域的平均颜色；
96.提取所述待识别图像的嘴唇区域的图像纹理梯度，并提取嘴唇区域的alpha遮罩；
97.对所述待识别图像的嘴唇区域进行颜色校正；
98.其中，颜色校正的公式为：
99.g(x)＝(1-α)f0(x)+αf1(x)
100.其中f0(x)表示嘴唇区域的原像素，f1(x)表示的平均颜色，g(x)表示颜色校正后的图像，α表示alpha遮罩的融合比例。
101.在这里，所提取的未涂抹口红区域的平均颜色作为涂抹口红嘴唇颜色校正的颜色输入，对待识别图像中的嘴唇区域进行颜色校正，所提取的图像纹理梯度用于在对嘴唇颜色进行校正时保持其纹理特征不变，实现对不符合标准的用户的嘴唇颜色进行自动校正。
102.应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
103.在一实施例中，本发明还提供一种基于卷积神经网络的证件照口红识别装置，该基于卷积神经网络的证件照口红识别装置与上述实施例中基于卷积神经网络的证件照口红识别方法一一对应。如图5所示，该基于卷积神经网络的证件照口红识别装置包括预处理模块51、转换模块52、训练模块53、识别模块54。各功能模块详细说明如下：
104.预处理模块51，用于获取图像训练集，对所述图像训练集中的每一个训练样本进行预处理，得到训练样本对应的嘴唇区域的rgb空间图像；
105.转换模块52，用于将所述训练样本对应的嘴唇区域的rgb空间图像转换为ycbcr空
间图像，将所述rgb空间图像和ycbcr空间图像组成训练样本对；
106.训练模块53，用于构建卷积神经网络，采用所述训练样本对对所述卷积神经网络进行训练，得到口红识别模型；
107.识别模块54，用于获取待识别图像，对所述待识别图像进行预处理，通过训练好的所述口红识别模型对预处理后的待识别图像进行口红识别，得到所述待识别图像对应的类别概率，选择概率最大的类别标号作为所述待识别图像的口红识别结果。
108.可选地，所述预处理模块51包括：
109.样本采集单元，用于采集证件照拍摄设备从不同角度获取的若干个用户的涂口红图像若干张，作为涂抹口红正样本；
110.采集证件照拍摄设备从不同角度获取的若干个用户的未涂口红图像若干张，作为涂抹口红负样本。
111.可选地，所述预处理模块51包括：
112.提取单元，用于对于所述图像训练集中的每一个训练样本，采用seetaface人脸检测算法，基于68点定位法提取所述训练样本中的人脸区域的嘴唇轮廓控制点；
113.拟合单元，用于采用polyline函数将所述嘴唇轮廓控制点进行顺序连接，形成闭合区域；
114.掩膜形成单元，用于对所述闭合区域进行漫水法填充，形成嘴唇掩膜；
115.图像创建单元，用于统计所述训练样本中嘴唇区域的总像素，根据所述总像素创建三通道图像；
116.图像生成单元，用于获取所述嘴唇掩膜的rgb三通道对应的像素，将所述rgb三通道对应的像素填充至所述三通道图像，并通过插值变换将像素填充后的三通道图像的长宽转换为预设像素值，得到训练样本对应的嘴唇区域的rgb空间图像。
117.可选地，所述图像创建单元具体用于：
118.统计所述训练样本中嘴唇区域的总像素n，创建长宽均为(n,n)的三通道图像，其中n＝floor(n)。
119.可选地，所述卷积神经网络包括第一组卷积、第二组卷积、第三组卷积、第一全连接层和第二全连接层，所述第一组卷积用于对rgb空间图像进行特征提取，所述第二组卷积用于对ycbcr空间图像进行特征提取；
120.所述第一组卷积和第二组卷积均包括四层，其中第一层卷积利用尺寸为(3,3,3,32)的卷积核对输入图像进行卷积，得到尺寸为(126，126,32)的特征图，接着利用leakyrelu激活函数进行激活，再利用最大池化卷积进行池化操作，得到尺寸为(63,63,32)的第一特征图；第二层卷积利用尺寸为(3,3,36,64)的卷积核对第一特征图进行卷积，得到尺寸为(61，61,64)的特征图，接着利用leakyrelu激活函数进行激活，再利用最大池化卷积进行池化操作，得到尺寸为(30，30,64)的第二特征图；第三层卷积利用尺寸为(3,3,64，128)的卷积核对第二特征图进行卷积，得到尺寸为(28，28,128)的特征图，接着利用leakyrelu激活函数进行激活，再利用最大池化卷积进行池化操作，得到尺寸为(14，14,128)的第三特征图；第四层卷积利用尺寸为(3,3，128,64)的卷积核对第三特征图进行卷积，得到尺寸为(12，12,128)的特征图，接着利用leakyrelu激活函数进行激活，再利用最大池化卷积进行池化操作，得到尺寸为(6，6,64)的第四特征图；
121.所述第三组卷积用于对所述rgb空间图像提取的特征图像和对所述ycbcr空间图像提取的特征图像进行拼接，得到(6,6,128)维的特征图，利用尺寸为(3,3,128,64)的卷积核对所述(6,6,128)维的特征图进行卷积，得到(4,4,64)维的特征图，利用leakyrelu激活函数进行激活以及进行展开，得到(4*4*64)维的特征向量；
122.所述(4*4*64)维的特征向量作为第一全连接层的输入，经过第一全连接层后得到1024维的特征向量，并利用leakyrelu激活函数进行激活，再经过第二全连接层得到2维的特征向量；
123.将2维的特征向量进行softmax归一化处理，得到类别概率。
124.可选地，所述卷积神经网络采用交叉熵作为训练损失函数。
125.可选地，所述训练模块53包括：
126.训练单元，用于将128个训练样本对作为一个批次输入所述卷积神经网络，使用sgd优化器对每个批次的交叉熵进行优化，并进行反向传播，当所述卷积神经网络的损失代价下降到预设精度时停止迭代；
127.测试单元，用于将64个训练样本对作为一个批次输入所述卷积神经网络进行测试。
128.可选地，所述装置还包括：
129.平均颜色提取单元，用于对于口红识别结果为未涂抹口红的待识别图像，提取未涂抹口红区域的平均颜色；
130.遮罩提取单元，用于提取所述待识别图像的嘴唇区域的图像纹理梯度，并提取嘴唇区域的alpha遮罩；
131.颜色校正单元，用于对所述待识别图像的嘴唇区域进行颜色校正；
132.其中，颜色校正的公式为：
133.g(x)＝(1-α)f0(x)+αf1(x)
134.其中f0(x)表示嘴唇区域的原像素，f1(x)表示的平均颜色，g(x)表示颜色校正后的图像，α表示alpha遮罩的融合比例。
135.关于基于卷积神经网络的证件照口红识别装置的具体限定可以参见上文中对于基于卷积神经网络的证件照口红识别方法的限定，在此不再赘述。上述基于卷积神经网络的证件照口红识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于存储器中，以便于处理器调用执行以上各个模块对应的操作。
136.在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于卷积神经网络的证件照口红识别方法。
137.在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现以下步骤：
138.获取图像训练集，对所述图像训练集中的每一个训练样本进行预处理，得到训练样本对应的嘴唇区域的rgb空间图像；
139.将所述训练样本对应的嘴唇区域的rgb空间图像转换为ycbcr空间图像，将所述rgb空间图像和ycbcr空间图像组成训练样本对；
140.构建卷积神经网络，采用所述训练样本对对所述卷积神经网络进行训练，得到口红识别模型；
141.获取待识别图像，对所述待识别图像进行预处理，通过训练好的所述口红识别模型对预处理后的待识别图像进行口红识别，得到所述待识别图像对应的类别概率，选择概率最大的类别标号作为所述待识别图像的口红识别结果。
142.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
143.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
144.以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于卷积神经网络的证件照口红识别方法，其特征在于，包括：获取图像训练集，对所述图像训练集中的每一个训练样本进行预处理，得到训练样本对应的嘴唇区域的rgb空间图像；将所述训练样本对应的嘴唇区域的rgb空间图像转换为ycbcr空间图像，将所述rgb空间图像和ycbcr空间图像组成训练样本对；构建卷积神经网络，采用所述训练样本对对所述卷积神经网络进行训练，得到口红识别模型；获取待识别图像，对所述待识别图像进行预处理，通过训练好的所述口红识别模型对预处理后的待识别图像进行口红识别，得到所述待识别图像对应的类别概率，选择概率最大的类别标号作为所述待识别图像的口红识别结果。2.如权利要求1所述的基于卷积神经网络的证件照口红识别方法，其特征在于，所述获取图像训练集包括：采集证件照拍摄设备从不同角度获取的若干个用户的涂口红图像若干张，作为涂抹口红正样本；采集证件照拍摄设备从不同角度获取的若干个用户的未涂口红图像若干张，作为涂抹口红负样本。3.如权利要求1所述的基于卷积神经网络的证件照口红识别方法，其特征在于，所述对所述图像训练集中的每一个训练样本进行预处理，得到训练样本对应的嘴唇区域的rgb空间图像包括：对于所述图像训练集中的每一个训练样本，采用seetaface人脸检测算法，基于68点定位法提取所述训练样本中的人脸区域的嘴唇轮廓控制点；采用polyline函数将所述嘴唇轮廓控制点进行顺序连接，形成闭合区域；对所述闭合区域进行漫水法填充，形成嘴唇掩膜；统计所述训练样本中嘴唇区域的总像素，根据所述总像素创建三通道图像；获取所述嘴唇掩膜的rgb三通道对应的像素，将所述rgb三通道对应的像素填充至所述三通道图像，并通过插值变换将像素填充后的三通道图像的长宽转换为预设像素值，得到训练样本对应的嘴唇区域的rgb空间图像。4.如权利要求3所述的基于卷积神经网络的证件照口红识别方法，其特征在于，所述统计所述训练样本中嘴唇区域的总像素，根据所述总像素创建三通道图像包括：统计所述训练样本中嘴唇区域的总像素n，创建长宽均为(n,n)的三通道图像，其中n＝floor(n)。5.如权利要求1所述的基于卷积神经网络的证件照口红识别方法，其特征在于，所述卷积神经网络包括第一组卷积、第二组卷积、第三组卷积、第一全连接层和第二全连接层，所述第一组卷积用于对rgb空间图像进行特征提取，所述第二组卷积用于对ycbcr空间图像进行特征提取；所述第一组卷积和第二组卷积均包括四层，其中第一层卷积利用尺寸为(3,3,3,32)的卷积核对输入图像进行卷积，得到尺寸为(126，126,32)的特征图，接着利用leakyrelu激活函数进行激活，再利用最大池化卷积进行池化操作，得到尺寸为(63,63,32)的第一特征图；第二层卷积利用尺寸为(3,3,36,64)的卷积核对第一特征图进行卷积，得到尺寸为(61，61,
64)的特征图，接着利用leakyrelu激活函数进行激活，再利用最大池化卷积进行池化操作，得到尺寸为(30，30,64)的第二特征图；第三层卷积利用尺寸为(3,3,64，128)的卷积核对第二特征图进行卷积，得到尺寸为(28，28,128)的特征图，接着利用leakyrelu激活函数进行激活，再利用最大池化卷积进行池化操作，得到尺寸为(14，14,128)的第三特征图；第四层卷积利用尺寸为(3,3，128,64)的卷积核对第三特征图进行卷积，得到尺寸为(12，12,128)的特征图，接着利用leakyrelu激活函数进行激活，再利用最大池化卷积进行池化操作，得到尺寸为(6，6,64)的第四特征图；所述第三组卷积用于对所述rgb空间图像提取的特征图像和对所述ycbcr空间图像提取的特征图像进行拼接，得到(6,6,128)维的特征图，利用尺寸为(3,3,128,64)的卷积核对所述(6,6,128)维的特征图进行卷积，得到(4,4,64)维的特征图，利用leakyrelu激活函数进行激活以及进行展开，得到(4*4*64)维的特征向量；所述(4*4*64)维的特征向量作为第一全连接层的输入，经过第一全连接层后得到1024维的特征向量，并利用leakyrelu激活函数进行激活，再经过第二全连接层得到2维的特征向量；将2维的特征向量进行softmax归一化处理，得到类别概率。6.如权利要求5所述的基于卷积神经网络的证件照口红识别方法，其特征在于，所述卷积神经网络采用交叉熵作为训练损失函数。7.如权利要求5所述的基于卷积神经网络的证件照口红识别方法，其特征在于，所述采用所述训练样本对对所述卷积神经网络进行训练，得到口红识别模型包括：将128个训练样本对作为一个批次输入所述卷积神经网络，使用sgd优化器对每个批次的交叉熵进行优化，并进行反向传播，当所述卷积神经网络的损失代价下降到预设精度时停止迭代；将64个训练样本对作为一个批次输入所述卷积神经网络进行测试。8.如权利要求5所述的基于卷积神经网络的证件照口红识别方法，其特征在于，所述方法还包括：对于口红识别结果为未涂抹口红的待识别图像，提取未涂抹口红区域的平均颜色；提取所述待识别图像的嘴唇区域的图像纹理梯度，并提取嘴唇区域的alpha遮罩；对所述待识别图像的嘴唇区域进行颜色校正；其中，颜色校正的公式为：g(x)＝(1-α)f0(x)+αf1(x)其中f0(x)表示嘴唇区域的原像素，f1(x)表示的平均颜色，g(x)表示颜色校正后的图像，α表示alpha遮罩的融合比例。9.一种基于卷积神经网络的证件照口红识别装置，其特征在于，包括：预处理模块，用于获取图像训练集，对所述图像训练集中的每一个训练样本进行预处理，得到训练样本对应的嘴唇区域的rgb空间图像；转换模块，用于将所述训练样本对应的嘴唇区域的rgb空间图像转换为ycbcr空间图像，将所述rgb空间图像和ycbcr空间图像组成训练样本对；训练模块，用于构建卷积神经网络，采用所述训练样本对对所述卷积神经网络进行训练，得到口红识别模型；
识别模块，用于获取待识别图像，对所述待识别图像进行预处理，通过训练好的所述口红识别模型对预处理后的待识别图像进行口红识别，得到所述待识别图像对应的类别概率，选择概率最大的类别标号作为所述待识别图像的口红识别结果。10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的基于卷积神经网络的证件照口红识别方法。11.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的基于卷积神经网络的证件照口红识别方法。

技术总结
本发明公开了一种基于卷积神经网络的证件照口红识别方法，包括：获取图像训练集，对所述图像训练集进行预处理，得到嘴唇区域的RGB空间图像；将所述嘴唇区域的RGB空间图像转换为YCbCr空间图像，将所述RGB空间图像和YCbCr空间图像组成训练样本对；构建卷积神经网络，采用所述训练样本对对所述卷积神经网络进行训练，得到口红识别模型；获取待识别图像，进行预处理，通过训练好的所述口红识别模型对预处理后的待识别图像进行口红识别，得到所述待识别图像对应的类别概率，选择概率最大的类别标号作为所述待识别图像的口红识别结果。本发明解决了现有技术在光线有变化、环境复杂、嘴唇有部分病变的时候无法对证件照中的口红进行有效识别及稳定识别的问题。有效识别及稳定识别的问题。有效识别及稳定识别的问题。


技术研发人员：李博 曹婉玉
受保护的技术使用者：广州卓腾科技有限公司
技术研发日：2021.11.10
技术公布日：2022/3/8