一种红外图像处理、活体检测方法及装置与流程

1.本技术涉及图像技术领域，尤其涉及一种红外图像处理、活体检测方法及装置。


背景技术：

2.以下背景技术的描述可以包括对本技术实施例的至少一些示例的见解、发现、理解或公开或关联、以及相关现有技术不知道但由本技术提供的公开内容。本技术的一些这种贡献可以在下面被具体指出，而本技术的其他这种贡献将从相关上下文中显而易见。
3.人脸识别作为人工智能技术的重要应用之一，近几年得到了快速发展。人脸识别的各种应用在生活中也越来越常见，比如刷脸支付，刷脸通行等，它给人们的生活带来了很多便利。但是，与此同时也存在很多安全隐患，比如人脸信息被盗用，可能存在非法入侵的风险，所以安全性是人脸识别系统重点需要考虑的一个因素。为了防御虚假人脸对人脸识别系统的攻击，活体检测技术就显得至关重要。活体检测技术通常主要用来防御的攻击类型包括打印照片攻击、屏幕攻击、面具攻击等。
4.目前常用的活体检测方法分为两种，一种是需要人为配合的方式，通过人的眨眼，摇头、张嘴等动作来判断是否为真人；另一种是无需人为配合的方式，通过抓拍人脸图像，从中提取图像的活体特征来判断是否为真人。无需配合的方式是无感的，方便快捷，不会引起人的不适，更加适合实际场景中的应用。


技术实现要素：

5.本技术实施例提供了一种红外图像处理、活体检测方法及装置，用以实现更高精度的活体或非活体的图像检测。
6.本技术实施例提供的一种红外图像处理方法，包括：
7.确定待处理红外图像，所述待处理红外图像包括目标对象采集的活体红外图像和非活体红外图像中的至少一种；
8.对所述待处理红外图像进行第一增强处理和第二增强处理中的至少一种操作，获得所述待处理红外图像对应的目标图像，所述目标图像用于对活体检测模型进行训练，所述活体检测模型用于确定检测对象是否是活体；其中：
9.所述第一增强处理包括：将所述待处理红外图像划分为多个图像块，调整所述多个图像块中至少部分图像块在所述红外图像中的位置；
10.所述第二增强处理包括：将所述待处理红外图像与预设的光晕图像进行融合；所述光晕图像是对包含光照信息的图像进行处理获得的。
11.该方法通过所述第一增强处理和第二增强处理得到目标图像，并利用所述目标图像进行模型训练，从而能够实现更高精度的活体或非活体的图像检测。
12.在一种可选的实施方式中，所述调整所述多个图像块中至少部分图像块在所述红外图像中的位置，包括：
13.按照所述待处理红外图像上的预设位置，从所述多个图像块中选取出n1个图像
块，所述n1为大于1的整数；
14.按照预设位置调整原则，将所述n1个图像块中的各个图像块，调整到所述待处理红外图像中所述各个图像块各自对应的目标位置；其中，每个图像块在所述待处理红外图像中的目标位置与每个图像块对应的原始位置不同；所述原始位置为对所述待处理红外图像进行第一增强处理之前，对应的图像块在所述待处理图像中的位置。
15.在一种可选的实施方式中，所述将所述待处理红外图像与预设的光晕图像进行融合，包括：
16.将所述待处理红外图像中至少部分像素位置的像素值，与所述光晕图像上目标像素位置的像素值进行加权叠加，其中：
17.所述目标像素位置与所述至少部分像素位置对应。
18.本技术实施例提供的一种活体检测方法，包括：
19.获取检测对象的待检测红外图像；
20.利用训练后的活体检测模型对所述待检测红外图像进行检测，确定所述检测对象是否是活体；所述活体检测模型是利用所述目标图像进行训练得到的。
21.在一种可选的实施方式中，所述活体检测模型包括n2个活体检测分支和分类层，所述n2为大于1的整数；
22.所述利用训练后的活体检测模型对所述待检测红外图像进行检测，确定所述检测对象是否是活体，包括：
23.利用所述n2个活体检测分支中各个活体检测分支，分别对所述待检测红外图像进行检测，获得所述各个活体检测分支各自对应的子检测结果；
24.利用所述分类层对获得的各个子检测结果进行融合，确定所述检测对象是否是活体；其中，所述n2个活体检测分支是利用不同类别的所述目标图像进行训练得到的。
25.因此，本技术实施例可以增强针对活体检测的多种类型攻击的防假能力，从而能够进一步提高活体或非活体的检测精度。
26.在一种可选的实施方式中，所述活体检测模型是通过如下方式进行训练得到的：
27.获取n2个目标图像集；其中，不同目标图像集包含不同类别的所述目标图像，所述目标图像中包含的该目标对象是否是活体的标注信息；
28.分别利用所述n2个目标图像集中的每一目标图像集，训练得到一活体检测分支；
29.利用训练得到的各个活体检测分支，分别对n2个目标图像集中包含的至少部分目标图像进行检测，获得所述各个活体检测分支各自对应的子检测结果，并利用分类层对获得的各个子检测结果进行融合，确定所述至少部分目标图像中包含的目标对象是否是活体的检测结果，基于所述检测结果和对应的标注信息，调整所述分类层的网络参数，得到训练后的所述活体检测模型。
30.在一种可选的实施方式中，不同类别的所述目标图像至少包括不同类别的非活体红外图像。
31.本技术实施例提供的一种图像处理装置包括：
32.存储器，用于存储程序指令；
33.处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行任一所述的方法。
34.本技术另一实施例提供了一种计算设备，其包括存储器和处理器，其中，所述存储器用于存储程序指令，所述处理器用于调用所述存储器中存储的程序指令，按照获得的程序执行上述任一种方法。
35.此外，根据实施例，例如提供了一种用于计算机的计算机程序产品，其包括软件代码部分，当所述产品在计算机上运行时，这些软件代码部分用于执行上述所定义的方法的步骤。该计算机程序产品可以包括在其上存储有软件代码部分的计算机可读介质。此外，该计算机程序产品可以通过上传过程、下载过程和推送过程中的至少一个经由网络直接加载到计算机的内部存储器中和/或发送。
36.本技术另一实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行上述任一种方法。
附图说明
37.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅是本技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
38.图1为本技术实施例提供的模型训练方法的流程示意图；
39.图2为本技术实施例提供的人脸检测方法的流程示意图；
40.图3为本技术实施例提供的人脸图像数据重组示意图；
41.图4为本技术实施例提供的人脸图像光晕叠加示意图；
42.图5为本技术实施例提供的单个卷积神经网络的结构示意图；
43.图6为本技术实施例提供的融合卷积神经网络的结构示意图；
44.图7为本技术实施例提供的融合卷积神经网络中的全连接层的结构示意图；
45.图8为本技术实施例提供的一种红外图像处理方法的流程示意图；
46.图9为本技术实施例提供的一种活体检测方法的流程示意图；
47.图10为本技术实施例提供的一种图像处理装置的结构示意图；
48.图11为本技术实施例提供的一种活体检测装置的结构示意图；
49.图12为本技术实施例提供的一种红外图像处理装置的结构示意图；
50.图13为本技术实施例提供的一种活体检测装置的结构示意图。
具体实施方式
51.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，并不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
52.名词解释：
53.非活体人脸图像：即对目标对象进行红外图像采集时，所述目标对象不是真正的活人，而是图像、面具或者其他类型的物体，只不过可以通过对该物体的红外图像采集，可以获取人脸图像，那么获取的人脸图像即称为非活体人脸图像，反之，若目标对象是真正的
活人，那么对该目标对象采集获取的人脸图像即称为活体人脸图像。
54.光晕图像：所述光晕图像是对包含光照信息的图像进行处理获得的图像。
55.本技术实施例提供了一种红外图像处理、活体检测方法及装置，用以实现更高精度的活体或非活体的图像检测。
56.其中，方法和装置是基于同一申请构思的，由于方法和装置解决问题的原理相似，因此装置和方法的实施可以相互参见，重复之处不再赘述。
57.本技术实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
58.以下示例和实施例将只被理解为是说明性的示例。虽然本说明书可能在若干处提及“一”、“一个”或“一些”示例或实施例，但这并非意味着每个这种提及都与相同的示例或实施例有关，也并非意味着该特征仅适用于单个示例或实施例。不同实施例的单个特征也可以被组合以提供其他实施例。此外，如“包括”和“包含”的术语应被理解为并不将所描述的实施例限制为仅由已提及的那些特征组成；这种示例和实施例还可以包含并未具体提及的特征、结构、单元、模块等。
59.下面结合说明书附图对本技术各个实施例进行详细描述。需要说明的是，本技术实施例的展示顺序仅代表实施例的先后顺序，并不代表实施例所提供的技术方案的优劣。
60.本技术实施例提供的技术方案，涉及解决如何避免在图像上高成本的数据标注、如何在图像上提取有效的活性特征、如何考虑实际场景中的光照对人脸检测判断的影响，以及如何防御各种类型的对人脸识别系统的攻击。
61.本技术实施例提供的技术方案，在图像上无需进行像素级别的标注，成本较低；通过训练卷积神经网络的方法来对图像进行活体检测，在预处理阶段使用了数据重组的增强方法，可以在图像上有效地提取活性特征，降低图像上的内容特征对活体检测的干扰；另外，本技术实施例还使用了光晕叠加的方法模拟了实际场景的光照情况，增强了人脸检测模型对光照的鲁棒性；本技术实施例所使用的卷积神经网络是多个卷积神经网络融合而成的，每个卷积神经网络都对特定攻击类型具有良好的区分效果，融合之后整个网络可以区分各种类型的攻击方式，能够实现高精度的活体检测。
62.本技术实施例提供的技术方案，以人脸检测为例进行说明，但对于其他对象的检测，本技术实施例提供的技术方案同样适用。
63.下面结合图1和图2，详细介绍本技术实施例提供的技术方案。
64.本技术实施例提供的人脸检测所需要用到的卷积神经网络的整个训练流程如图1所示，包括：
65.s101、采集目标对象的红外训练图像。具体地，包括：
66.所述目标对象，例如是人。当然可以根据实际需要设置不同类型的目标对象。
67.例如，通过红外相机采集对人脸采集图像，从而得到各种类型的红外活体训练数
据；和/或，
68.通过红外相机采集打印图像、面具、屏幕图像等上的虚假人脸(即非活体人脸)图像，从而得到非活体训练数据。
69.s102、通过人脸检测从所述红外训练图像中抠出人脸图像；
70.s103、对所述人脸图像进行预处理。
71.经过所述预处理得到的图像，本技术实施例中可以称为目标图像。
72.并且，可选地，每一目标图像中包含该目标对象是否是活体的标注信息。即本技术实施例中用于训练模型的图像，是有标注图像。当然，对于无标注图像，本技术实施例提供的技术方案同样适用。
73.所述预处理，例如包括：数据重组和/或光晕叠加。
74.需要说明的是，图1中包括了数据重组和光晕叠加，并且，先进行数据重组再进行光晕叠加，但本技术实施例并不限于此种方式，仅是一种举例说明，可以仅采用其中的一种预处理方法，若采用数据重组和光晕叠加这两种预处理方法，那么具体的先后顺序也不进行限定，也可以先进行光晕叠加再进行数据重组。
75.所述的数据重组也可以称为第一增强处理；相应地，所述的光晕叠加也可以称为第二增强处理。
76.s104、利用不同类别的经过所述预处理后的人脸图像，训练多个卷积神经网络。
77.所述多个卷积神经网络，即多个活体检测分支。每一活体检测分支的训练所用到的目标图像集包括多个所述的目标图像。不同的活体检测分支对应不同的目标图像集，即对应不同类型的目标图像。
78.例如，训练三个卷积神经网络(当然本技术实施例不限于三个，可以是一个或任意多个)。
79.所述训练三个卷积神经网络，例如包括：
80.针对打印类非活体攻击，采用打印类非活体人脸图像数据，训练得到第一卷积神经网络。其中，所述的打印类非活体人脸图像数据，例如具体包括彩色照片、图片等打印类的图像数据。
81.针对面具类非活体攻击，采用面具类非活体人脸图像数据，训练得到第二卷积神经网络。
82.采用上述类别之外的人脸图像数据，训练得到第三卷积神经网络。例如，针对防御难度较大的攻击类型，比如暗室场景攻击、强逆光场景攻击、红外打印攻击等，采用这些场景中的任意一个或多个场景下采集得到的非活体人脸图像数据，例如暗室场景下采集到的人脸图像、强逆光场景下采集到的人脸图像、红外打印图像，利用这些图像训练得到第三卷积神经网络。其中，所述的红外打印图像，区别于上述的打印类非活体人脸图像，是黑白的图像。
83.s105、把所述三个卷积神经网络融合成一个卷积神经网络，得到融合卷积神经网络。
84.也就是说，本技术实施例中，作为一种可选的实施方式，利用训练得到的各个活体检测分支，分别对目标图像集中包含的至少部分目标图像进行检测，获得各个活体检测分支各自对应的子检测结果，并利用分类层(或者称为全连接层，即fc层)对获得的各个子检
测结果进行融合，确定所述至少部分目标图像中包含的目标对象是否是活体的检测结果，基于该检测结果和对应的标注信息，调整所述分类层的网络参数，得到训练后的活体检测模型，即融合卷积神经网络。
85.得到融合卷积神经网络后，在实际应用中，参见图2，本技术实施例提供的人脸检测方法包括：
86.s201、获取检测对象的红外图像；
87.s202、对所述检测对象的红外图像进行人脸检测，得到红外人脸图像；
88.s203、使用所述融合卷积神经网络对所述红外人脸图像进行检测，从而确定所述检测对象是活体或非活体；
89.s204、输出所述检测对象是活体或非活体的检测结果。
90.下面分别针对上述内容中提到的数据重组、光晕叠加、卷积神经网络的训练、融合进行具体的举例说明。
91.(1)关于人脸图像的数据重组：
92.本技术实施例方案中所使用的数据重组方法主要用来提高人脸活性特征的提取能力，降低内容特征对活体检测的影响。
93.其中，所述人脸活性特征指用于区分检测对象是活体和非活体的人脸特征；所述内容特征用于区分检测对象的身份或属性的特征，包括面部结构特征等。
94.参见图3(为了保护隐私，人脸区域进行了马赛克处理，实际应用中可以是清晰图像)，通过对检测到的红外人脸图像(图3中最左侧图像)进行分块，得到九个区域的图像块，分别用数字对这九个图像块进行标记，对图像块4、图像块5、图像块6、图像块8这四个区域的图像块在原始图像中的位置进行随机打乱，然后利用位置打乱后的这九个区域的图像块再重新合并成一张新的人脸图像，如图3中最右侧图像所示。
95.其中，需要说明的是，作为一种可选的实施方式，考虑到图像块4、图像块5、图像块6、图像块8是人脸的主要区域，包含人脸五官，含有丰富的内容特征，因此本技术实施例对这四个区域的图像块在原始图像中的位置进行打乱，可以减弱人脸的内容特征，使得后续在进行卷积神经网络训练时更关注人脸的活性特征，从而提高人脸检测模型的鲁棒性。
96.(2)关于人脸图像的光晕叠加：
97.本技术实施例方案中所使用的光晕叠加方法主要是用来提高人脸检测模型对于实际场景中光照的鲁棒性，增强实际应用中活体检测的效果。
98.参见图4，首先，在实际场景中通过红外相机采集一些光照图像，这些光照图像中含有一些光斑、光圈等，从这些光照图像中截取出光斑、光圈的图像，从而得到光晕图像，如图4的中间两张图像所示。
99.然后，随机选定一些训练数据中的人脸图像，例如图4最左侧图像所示(为了保护隐私，人脸区域进行了马赛克处理，实际应用中可以是清晰图像)，对该人脸图像随机叠加各种光晕图像(含光斑的光晕图像、含光圈的光晕图像等等)中的一张图像。叠加光晕图像后的人脸图像(例如图4最右侧图像所示)，用于训练卷积神经网络。所述光晕图像，也可以称为是自然光线图像。
100.其中，人脸图像叠加光晕图像的方法，例如可以是线性加权叠加，针对任一像素位置，假设人脸图像的任一像素位置的像素值为face，光晕图像的同一像素位置的像素值为
light，权重为a，例如a为预设的0.5到1之间的随机数，则叠加后的图像的同一像素位置的像素值为face*a+light*(1-a)。这种方法模拟了实际场景中的各种光照条件，可以使得模型对光照具有良好的鲁棒性，提升实际应用中的活体检测效果。
101.(3)关于单个卷积神经网络的训练，以及多个卷积神经网络的融合：
102.本技术实施例方案中所使用每个卷积神经网络的结构如图5所示，包括多个卷积层(conv)、池化层(pool)，最后连接两个全连接层(fc)后，通过损失函数(softmaxloss)进行优化训练。其中，卷积层用于卷积操作，池化层用于下采样。全连接层中的每个神经元与其前一层的所有神经元进行全连接。全连接层可以整合卷积层或者池化层中具有类别区分性的局部信息。softmaxloss是卷积神经网络中一种常用的损失函数。损失函数用来评价人脸检测模型的预测值与真实值的差别程度。所述的优化训练，即通过损失函数进行监督，训练卷积神经网络，确定人脸检测模型里的权值参数。本技术实施例中所述的人脸检测模型，即所采用的卷积神经网络。
103.本技术实施例中，每个卷积神经网络训练所使用的数据是不一样的，所防御的非活体攻击类型也是不同的。本技术实施例使用了三个卷积神经网络，如图1所示，第一卷积神经网络的训练数据主要是打印类非活体攻击；第二卷积神经网络的训练数据主要是面具类非活体攻击；第三卷积神经网络的训练数据主要是一些防御难度较大的攻击类型，比如暗室场景攻击、强逆光场景攻击、红外打印攻击等。由于屏幕类(例如用手机、平板电脑等显示人脸)在红外摄像头下不成像，所以不需要屏幕类数据。三个模型训练完成后，能够分别防御打印类攻击、面具类攻击、困难场景攻击。
104.卷积神经网络包括输入层、隐含层、输出层。其中，隐含层包括卷积层、池化层、全连接层等；softmax层为输出层，通常连接隐含层中的最后的全连接层。softmax用于在多分类过程中，将多个神经元输出，映射到0、1区间内，从而进行多分类。本技术实施例方案中使用了融合卷积神经网络的方法，把上述三个卷积神经网络合并成一个融合卷积神经网络，得到的融合卷积神经网络的结构如图6所示。把红外人脸图像(face_image)输入融合卷积神经网络，即同时输入三个卷积神经网络中，每个卷积神经网络里的最后一个全连接层连接一softmax层，然后把三个softmax层连接一连接层(即concat层)，再连接一个fc层，最后经过一个softmax层输出分类结果。其中，所述concat层的作用就是将两个及以上的特征图像在channel(通道)或num维度上进行拼接。此处concat层用来连接三个softmax层输出的结果，比如三个softmax层分别输出为[0.2,0.8]、[0.6,0.4]、[0.5,0.5]，其中，例如[0.2,0.8]，表示第一卷积神经网络输出的识别结果中，判定为活体的概率为0.2，非活体的概率为0.8。则，经过concat层后，concat层输出结果为[0.2,0.8,0.6,0.4,0.5,0.5]。图6所示的fc层(即分类层)有两个节点，用于二分类。也就是说，图6中concat层连接三个softmax层输出后得到的结果，例如是六个节点(例如[0.2,0.8,0.6,0.4,0.5,0.5])，把这六个节点和fc层的两个节点两两相连，从而还是输出两个节点，即最后得到两个数值，分别用于表示活体、非活体的概率。具体地：
[0105]
本技术实施例提供的融合卷积神经网络中的fc层(即图6中所示的fc)的示例结构如图7所示，其中，x1到x6为上层输出，例如上述的六个节点[0.2,0.8,0.6,0.4,0.5,0.5]，预先设置参数w
ij
，表示六个节点中xi和两个节点中aj间的权值参数，预先设置b1、b2为偏置参数，其中i取值1～6，j取值1、2。则fc层例如按照如下两个公式(当然本技术实施例并不限
于此公式，包括参数的设定和选取，都可以根据实际需要而定)，输出两个节点的值a1和a2：
[0106]
a1＝w
11
*x1+w
21
*x2+w
31
*x3+w
41
*x4+w
51
*x5+w
61
*x6+b1[0107]
a2＝w
12
*x1+w
22
*x2+w
32
*x3+w
42
*x4+w
52
*x5+x
62
*x6+b2[0108]
fc层经过训练后，w
ij
和b1、b2固定下来，六个节点经过上述计算可以得到最后两个节点的值。
[0109]
图6所示的结构，整个视为融合的卷积神经网络。整体一个模型兼具了三个单独模型的识别能力，并且一个输入共享了三个模型的输入预处理。这在实际应用中会减少预处理耗时。
[0110]
三个卷积神经网络的模型参数是分别单独训练好的，融合之后单个卷积神经网络的模型参数固定不变，只需要单独训练图6中的fc层的参数，例如上述的权值参数w
ij
和偏置参数b1、b2，训练完成之后的融合卷积神经网络就可以对红外人脸图像进行活体非活体的判断。这种融合方式可以把三个不同防御类型的卷积神经网络的功能进行合并，合并之后的融合卷积神经网络可以防御各种攻击类型。
[0111]
综上所述，本技术实施例提供的技术方案，无需标注像素级别的数据，成本低廉。而使用的数据重组的方法可以有效地提取活性特征，降低内容特征对活体检测的干扰。使用的光晕叠加的方法可以使模型对实际场景的光照情况更加鲁棒。而使用的融合卷积神经网络的方法可以对各种类型的攻击方式都有良好的防假能力，能够实现高精度的活体检测。
[0112]
下面对本技术实施例提供的方法总结如下：
[0113]
参见图8，本技术实施例提供的一种红外图像处理方法，包括：
[0114]
s801、确定待处理红外图像，所述待处理红外图像包括目标对象采集的活体红外图像和非活体红外图像中的至少一种；
[0115]
s802、对所述待处理红外图像进行第一增强处理和第二增强处理中的至少一种操作，获得所述待处理红外图像对应的目标图像，所述目标图像用于对活体检测模型进行训练，所述活体检测模型用于确定检测对象是否是活体；其中：
[0116]
所述第一增强处理(例如所述的数据重组)包括：将所述待处理红外图像划分为多个图像块，调整所述多个图像块中至少部分图像块在所述红外图像中的位置；
[0117]
所述第二增强处理(例如所述的光晕叠加)包括：将所述待处理红外图像与预设的光晕图像进行融合；所述光晕图像是对包含光照信息的图像进行处理获得的。
[0118]
本技术实施例中通过使用数据重组的方法可以有效地提取活性特征，降低内容特征对活体检测的干扰。并且，无需标注像素级别的数据，成本低廉。
[0119]
本技术实施例中通过使用的光晕叠加的方法，可以使训练得到的卷积神经网络对实际场景的光照情况更加鲁棒。
[0120]
在一种可选的实施方式中，所述调整所述多个图像块中至少部分图像块在所述红外图像中的位置，包括：
[0121]
按照所述待处理红外图像上的预设位置，例如人脸五官所处位置，从所述多个图像块中选取出n1个图像块，所述n1为大于1的整数；例如，上述实施方式中，n1等于4；
[0122]
按照预设位置调整原则，将所述n1个图像块中的各个图像块，调整到所述待处理红外图像中所述各个图像块各自对应的目标位置；其中，每个图像块在所述待处理红外图
像中的目标位置与每个图像块对应的原始位置不同；所述原始位置为对所述待处理红外图像进行第一增强处理之前，对应的图像块在所述待处理图像中的位置。
[0123]
所述预设位置调整原则，例如可以是随机的位置调整，也可以是按照预先设置好的位置进行调整，或者，也可以按照一条或多条参考线，对称对调，参考线可以是水平线、竖直线、斜对角线，甚至是随意的线；具体本技术实施例中不进行限定。
[0124]
在一种可选的实施方式中，所述将所述待处理红外图像与预设的光晕图像进行融合，包括：
[0125]
将所述待处理红外图像中至少部分像素位置的像素值，与所述光晕图像上目标像素位置的像素值进行加权叠加，其中：
[0126]
所述目标像素位置与所述至少部分像素位置对应。
[0127]
参见图9，本技术实施例提供的一种活体检测方法，包括：
[0128]
s901、获取检测对象的待检测红外图像；
[0129]
例如，所述的检测对象，可以是人体图像，也可以是从人体图像抠图出的人脸图像，还可以是直接采集的人脸图像。
[0130]
s902、利用训练后的活体检测模型对所述待检测红外图像进行检测，确定所述检测对象是否是活体；所述活体检测模型是利用所述目标图像进行训练得到的，也可是说利用上述方法训练得到的融合卷积神经网络进行活体检测。
[0131]
在一种可选的实施方式中，所述活体检测模型包括n2个活体检测分支和分类层，所述n2为大于1的整数；例如，上述实施方式中，n2等于3；
[0132]
所述利用训练后的活体检测模型对所述待检测红外图像进行检测，确定所述检测对象是否是活体，包括：
[0133]
利用所述n2个活体检测分支中各个活体检测分支，分别对所述待检测红外图像进行检测，获得所述各个活体检测分支各自对应的子检测结果；
[0134]
利用所述分类层对获得的各个子检测结果进行融合，确定所述检测对象是否是活体；其中，所述n2个活体检测分支是利用不同类别的所述目标图像进行训练得到的。
[0135]
因此，本技术实施例可以增强针对活体检测的多种类型攻击的防假能力，从而能够进一步提高活体或非活体的检测精度。
[0136]
在一种可选的实施方式中，所述活体检测模型是通过如下方式进行训练得到的：
[0137]
获取n2个目标图像集；其中，不同目标图像集包含不同类别的所述目标图像，所述目标图像中包含的该目标对象是否是活体的标注信息；
[0138]
分别利用所述n2个目标图像集中的每一目标图像集，训练得到一活体检测分支；
[0139]
利用训练得到的各个活体检测分支，分别对n2个目标图像集中包含的至少部分目标图像进行检测，获得所述各个活体检测分支各自对应的子检测结果，并利用分类层对获得的各个子检测结果进行融合，确定所述至少部分目标图像中包含的目标对象是否是活体的检测结果，基于所述检测结果和对应的标注信息，调整所述分类层的网络参数，得到训练后的所述活体检测模型(即所述的融合卷积神经网络)。
[0140]
本技术实施例通过使用融合卷积神经网络，可以对各种类型的攻击方式都有良好的防假能力，能够实现更高精度的活体或非活体的人脸检测。
[0141]
例如，所述第一卷积神经网络、第二卷积神经网络、第三卷积神经网络，分别得到
第一检测结果、第二检测结果、第三检测结果；
[0142]
将所述第一检测结果、第二检测结果、第三检测结果分别经过一输出层处理后，输出给一连接层；例如，结合图6，所述第一检测结果、第二检测结果、第三检测结果，分别输出给不同的softmax层；
[0143]
将经过所述连接层处理后的结果，输出给一全连接层；例如，结合图6，三个softmax层输出的结果，输出给concat层处理后，再输出给fc层；
[0144]
将经过所述全连接层处理后的结果，最终通过一输出层处理后输出所述检测对象是活体或非活体的检测结果，例如，结合图6，fc层处理后的结果输出给最后一个softmax层，由该softmax层输出最终结果。
[0145]
另外，除了上述实施例中所述的方式，上述的三个分支(即上述第一卷积神经网络、第二卷积神经网络、第三卷积神经网络)，分别输出图像是否是某类非活体图像的结果和置信度，分类层还可以选择置信度最大的一个结果输出给最后一个softmax层，由该softmax层输出最终结果。
[0146]
在一种可选的实施方式中，不同类别的所述目标图像至少包括不同类别的非活体红外图像。
[0147]
参见图10，本技术实施例提供的一种图像处理装置包括：
[0148]
存储器11，用于存储程序指令；
[0149]
处理器12，用于调用所述存储器中存储的程序指令，按照获得的程序执行任一所述的方法，可以是所述的红外图像处理方法，也可以是所述的活体检测方法，具体内容不再赘述。
[0150]
具体地，例如，参见图11，本技术实施例提供的一种活体检测装置，包括：
[0151]
处理器600，用于读取存储器620中的程序，执行下列过程：
[0152]
获取检测对象的待检测红外图像；
[0153]
利用训练后的活体检测模型，例如利用所述的融合卷积神经网络，对所述待检测红外图像进行检测，确定所述检测对象是否是活体。
[0154]
收发机610(可选的)，用于在处理器600的控制下接收和发送数据，例如该收发机可以是以有线的或无线的形式传输任何类型的数据，例如用于获取检测对象的待检测红外图像。
[0155]
其中，在图11中，总线架构可以包括任意数量的互联的总线和桥，具体由处理器600代表的一个或多个处理器和存储器620代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。收发机610可以是多个元件，即包括发送机和接收机，提供用于在传输介质上与各种其他装置通信的单元。针对不同的用户设备，用户接口630还可以是能够外接内接需要设备的接口，连接的设备包括但不限于小键盘、显示器、扬声器、麦克风、操纵杆等。
[0156]
处理器600负责管理总线架构和通常的处理，存储器620可以存储处理器600在执行操作时所使用的数据。
[0157]
可选的，处理器600可以是cpu(中央处埋器)、asic(application specific integrated circuit，专用集成电路)、fpga(field－programmable gate array，现场可编
程门阵列)或cpld(complex programmable logic device，复杂可编程逻辑器件)。
[0158]
参见图12，本技术实施例提供的另一种红外图像处理装置，包括：
[0159]
确定待处理红外图像单元121，用于确定待处理红外图像，所述待处理红外图像包括目标对象采集的活体红外图像和非活体红外图像中的至少一种；
[0160]
增强处理单元122，用于对所述待处理红外图像进行第一增强处理和第二增强处理中的至少一种操作，获得所述待处理红外图像对应的目标图像，所述目标图像用于对活体检测模型进行训练，所述活体检测模型用于确定检测对象是否是活体；其中：
[0161]
所述第一增强处理包括：将所述待处理红外图像划分为多个图像块，调整所述多个图像块中至少部分图像块在所述红外图像中的位置；
[0162]
所述第二增强处理包括：将所述待处理红外图像与预设的光晕图像进行融合；所述光晕图像是对包含光照信息的图像进行处理获得的。
[0163]
其他与上述红外图像处理方法相同或相对应的具体实施方式的描述，此处不再赘述。
[0164]
参见图13，本技术实施例提供的另一种活体检测装置，包括：
[0165]
获取检测对象红外图像单元131，用于获取检测对象的待检测红外图像；
[0166]
检测单元132，用于利用训练后的活体检测模型对所述待检测红外图像进行检测，确定所述检测对象是否是活体；所述活体检测模型是利用所述目标图像进行训练得到的。
[0167]
其他与上述活体检测方法相同或相对应的具体实施方式的描述，此处不再赘述。
[0168]
需要说明的是，本技术实施例中对单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0169]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0170]
本技术实施例提供了一种计算设备，该计算设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(personal digital assistant，pda)等。该计算设备可以包括中央处理器(center processing unit，cpu)、存储器、输入/输出设备等，输入设备可以包括键盘、鼠标、触摸屏等，输出设备可以包括显示设备，如液晶显示器(liquid crystal display，lcd)、阴极射线管(cathode ray tube，crt)等。
[0171]
存储器可以包括只读存储器(rom)和随机存取存储器(ram)，并向处理器提供存储器中存储的程序指令和数据。在本技术实施例中，存储器可以用于存储本技术实施例提供的任一所述方法的程序。
[0172]
处理器通过调用存储器存储的程序指令，处理器用于按照获得的程序指令执行本技术实施例提供的任一所述方法。
[0173]
本技术实施例还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述实施例中的任一所述方法。所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
[0174]
本技术实施例提供了一种计算机可读存储介质，用于储存为上述本技术实施例提供的装置所用的计算机程序指令，其包含用于执行上述本技术实施例提供的任一方法的程序。所述计算机可读存储介质，可以是非暂时性计算机可读介质。
[0175]
所述计算机可读存储介质可以是计算机能够存取的任何可用介质或数据存储设备，包括但不限于磁性存储器(例如软盘、硬盘、磁带、磁光盘(mo)等)、光学存储器(例如cd、dvd、bd、hvd等)、以及半导体存储器(例如rom、eprom、eeprom、非易失性存储器(nand flash)、固态硬盘(ssd))等。
[0176]
应当理解：
[0177]
通信网络中的实体经由其往来传送流量的接入技术可以是任何合适的当前或未来技术，诸如可以使用wlan(无线本地接入网络)、wimax(微波接入全球互操作性)、lte、lte-a、5g、蓝牙、红外等；另外，实施例还可以应用有线技术，例如，基于ip的接入技术，如有线网络或固定线路。
[0178]
适合于被实现为软件代码或其一部分并使用处理器或处理功能运行的实施例是独立于软件代码的，并且可以使用任何已知或未来开发的编程语言来规定，诸如高级编程语言，诸如objective-c、c、c++、c#、java、python、javascript、其他脚本语言等，或低级编程语言，诸如机器语言或汇编程序。
[0179]
实施例的实现是独立于硬件的，并且可以使用任何已知或未来开发的硬件技术或其任何混合来实现，诸如微处理器或cpu(中央处理单元)、mos(金属氧化物半导体)、cmos(互补mos)、bimos(双极mos)、bicmos(双极cmos)、ecl(发射极耦合逻辑)和/或ttl(晶体管-晶体管逻辑)。
[0180]
实施例可以被实现为单独的设备、装置、单元、部件或功能，或者以分布式方式实现，例如，可以在处理中使用或共享一个或多个处理器或处理功能，或者可以在处理中使用和共享一个或多个处理段或处理部分，其中，一个物理处理器或多于一个的物理处理器可以被用于实现一个或多个专用于如所描述的特定处理的处理部分。
[0181]
装置可以由半导体芯片、芯片组或包括这种芯片或芯片组的(硬件)模块来实现。
[0182]
实施例还可以被实现为硬件和软件的任何组合，诸如asic(应用特定ic(集成电路))组件、fpga(现场可编程门阵列)或cpld(复杂可编程逻辑器件)组件或dsp(数字信号处
理器)组件。
[0183]
实施例还可以被实现为计算机程序产品，包括在其中体现计算机可读程序代码的计算机可用介质，该计算机可读程序代码适应于执行如实施例中所描述的过程，其中，该计算机可用介质可以是非暂时性介质。
[0184]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0185]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0186]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0187]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0188]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。

技术特征：
1.一种红外图像处理方法，其特征在于，该方法包括：确定待处理红外图像，所述待处理红外图像包括目标对象采集的活体红外图像和非活体红外图像中的至少一种；对所述待处理红外图像进行第一增强处理和第二增强处理中的至少一种操作，获得所述待处理红外图像对应的目标图像，所述目标图像用于对活体检测模型进行训练，所述活体检测模型用于确定检测对象是否是活体；其中：所述第一增强处理包括：将所述待处理红外图像划分为多个图像块，调整所述多个图像块中至少部分图像块在所述红外图像中的位置；所述第二增强处理包括：将所述待处理红外图像与预设的光晕图像进行融合；所述光晕图像是对包含光照信息的图像进行处理获得的。2.根据权利要求1所述的方法，其特征在于，所述调整所述多个图像块中至少部分图像块在所述红外图像中的位置，包括：按照所述待处理红外图像上的预设位置，从所述多个图像块中选取出n1个图像块，所述n1为大于1的整数；按照预设位置调整原则，将所述n1个图像块中的各个图像块，调整到所述待处理红外图像中所述各个图像块各自对应的目标位置；其中，每个图像块在所述待处理红外图像中的目标位置与每个图像块对应的原始位置不同；所述原始位置为对所述待处理红外图像进行第一增强处理之前，对应的图像块在所述待处理图像中的位置。3.根据权利要求1或2所述的方法，其特征在于，所述将所述待处理红外图像与预设的光晕图像进行融合，包括：将所述待处理红外图像中至少部分像素位置的像素值，与所述光晕图像上目标像素位置的像素值进行加权叠加，其中：所述目标像素位置与所述至少部分像素位置对应。4.一种活体检测方法，其特征在于，该方法包括：获取检测对象的待检测红外图像；利用训练后的活体检测模型对所述待检测红外图像进行检测，确定所述检测对象是否是活体；所述活体检测模型是利用权利要求1-3任一项获得的目标图像进行训练得到的。5.根据权利要求4所述的方法，其特征在于，所述活体检测模型包括n2个活体检测分支和分类层，所述n2为大于1的整数；所述利用训练后的活体检测模型对所述待检测红外图像进行检测，确定所述检测对象是否是活体，包括：利用所述n2个活体检测分支中各个活体检测分支，分别对所述待检测红外图像进行检测，获得所述各个活体检测分支各自对应的子检测结果；利用所述分类层对获得的各个子检测结果进行融合，确定所述检测对象是否是活体；其中，所述n2个活体检测分支是利用不同类别的所述目标图像进行训练得到的。6.根据权利要求5所述的方法，其特征在于，所述活体检测模型是通过如下方式进行训练得到的：获取n2个目标图像集；其中，不同目标图像集包含不同类别的所述目标图像，所述目标图像中包含的该目标对象是否是活体的标注信息；
分别利用所述n2个目标图像集中的每一目标图像集，训练得到一活体检测分支；利用训练得到的各个活体检测分支，分别对n2个目标图像集中包含的至少部分目标图像进行检测，获得所述各个活体检测分支各自对应的子检测结果，并利用分类层对获得的各个子检测结果进行融合，确定所述至少部分目标图像中包含的目标对象是否是活体的检测结果，基于所述检测结果和对应的标注信息，调整所述分类层的网络参数，得到训练后的所述活体检测模型。7.根据权利要求6所述的方法，其特征在于，不同类别的所述目标图像至少包括不同类别的非活体红外图像。8.一种图像处理装置，其特征在于，包括：存储器，用于存储程序指令；处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行权利要求1-3或4-7任一项所述的方法。9.一种用于计算机的计算机程序产品，包括软件代码部分，当所述产品在所述计算机上运行时，所述软件代码部分用于执行根据权利要求1至7中任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使所述计算机执行权利要求1-3或4-7任一项所述的方法。

技术总结
本申请公开了一种红外图像处理、活体检测方法及装置，用以实现更高精度的活体或非活体的图像检测。所述处理方法包括：确定待处理红外图像，其中包括目标对象采集的活体红外图像和非活体红外图像中的至少一种；对待处理红外图像进行第一增强处理和第二增强处理中的至少一种操作，获得待处理红外图像对应的目标图像，用于对活体检测模型进行训练，活体检测模型用于确定检测对象是否是活体；第一增强处理包括：将待处理红外图像划分为多个图像块，调整多个图像块中至少部分图像块在红外图像中的位置；第二增强处理包括：将待处理红外图像与预设的光晕图像进行融合；光晕图像是对包含光照信息的图像进行处理获得的。光照信息的图像进行处理获得的。光照信息的图像进行处理获得的。


技术研发人员：梁晓曦 殷俊 朱树磊
受保护的技术使用者：浙江大华技术股份有限公司
技术研发日：2021.11.26
技术公布日：2022/3/8