一种面部表情识别方法和系统

1.本发明属于表情识别技术领域，更具体地，涉及一种面部表情识别方法及系统。


背景技术：

2.面部表情是非语言交际的一种形式，它是表达人类之间的社会信息的主要手段，是一种生理及心理的反应，通常用于传递情感。面部表情识别技术主要的应用领域包括智能控制、安全、医疗、通信、教育等领域。
3.目前面部表情识别技术主要有两大分支，分别是静态的面部表情帧识别和动态的含有面部表情的视频识别。现有的人脸表情识别大多是使用静态的面部表情帧识别，即通过视频帧提取手段，采集面部表情帧后提取人脸表情相关特征(如：眼部区域的眼睛、眉毛的动作以及嘴部区域的动作或者是两侧脸颊的微小动作特征)，分类其面部表情。静态面部表情识别只考虑当前图像特征，但面部表情是一个动态变化的过程，静态图片识别忽略了表情在时间维度和空间维度上的变化，存在局限性。
4.目前基于静态图像面部识别的主流方法为卷积神经网络(cnn网络)，cnn网络是使用卷积操作对人脸图像进行特征的提取。通过cnn网络的卷积操作能够在浅层学习到颜色、边缘等低层次的特征，在网络的中间层学习的特征会稍微变得复杂，会学到一些纹理特征(如：网格纹理特征)，在网络的高层就会学习有区别性的关键特征。但是在cnn网络学习时，只能对于人脸图像的局部特征进行学习，不能对图像的整体空间域特征进行学习，缺乏图像的上下文信息。如果cnn网络的层数过高，会导致梯度消失或者梯度爆炸等问题，且cnn网络不能很好的抑制影响人脸表情识别的因素。
5.残差网络是卷积神经网络的一种，特点是容易优化，并且能够通过增加相当的深度来提高准确率。其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失和梯度爆炸的问题，在一定程度上解决了网络退化的问题。全连接层(fully connected layers，fc)在整个卷积神经网络中起到“分类器”的作用，全连接层则起到将学到的“特征表示”映射到样本标记空间的作用。
6.特征金字塔(feature pyramid)是用于检测不同尺度的对象的识别系统中的基本组件。在多尺度上识别目标是计算机视觉的一个挑战，通过提取多尺度的特征信息进行融合，进而提高模型精度。特征金字塔在目标检测、实例分割、姿态识别、面部识别等领域均有广泛的应用。
7.综上，虽然现有的技术能够获得较好的识别性能，但仍有不足。许多方法是对实验诱导出的表情数据来进行验证方法的效果，但在提高人脸表情识别的准确率上有极大的困难。在此背景下，克服上述因素的影响，增加方法的鲁棒性是实验条件下的面部表情识别的一个重大问题。


技术实现要素：

8.针对现有技术的缺陷，本发明的目的在于提供一种面部表情识别方法及系统，旨
在解决现有的面部表情识别准确率的问题。
9.为实现上述目的，第一方面本发明提供了一种面部表情识别方法，包括如下步骤：
10.(1)视频数据处理步骤：对视频数据进行帧提取操作，得到一组单个图像帧，并对各图像帧提取关键特征点，基于关键特征点位置坐标对各图像帧进行矫正和对齐，生成人脸图像帧数据集，以下步骤均针对人脸图像帧数据集中各人脸图像帧进行处理；
11.(2)面部表情特征提取步骤：将人脸图像帧输入到残差网络中，提取面部表情纹理特征和局部细腻度特征；
12.(3)多尺度及空间上下文特征提取步骤：对面部表情纹理特征进行特征金字塔提取操作，获取多尺度立体空间特征；将其与局部细腻度特征叠加融合，得到多尺度及空间上下文特征；
13.(4)全局关键空间域上下文特征提取步骤：将多尺度及空间上下文特征直接或压缩后输入到自注意力和空间注意力中依次进行处理，获得全局关键空间域上下文特征；
14.(5)时间特征提取步骤：将全局关键空间域上下文特征输入到循环神经网络，提取包括时间上下文的面部表情多重上下文特征；
15.(6)面部表情识别步骤：将提取的面部表情多重上下文特征输入到全连接层，在全连接层中使用概率分布计算方式对面部表情进行分类识别。
16.在一个可选的实施例中，所述视频数据处理步骤，包括如下子步骤：
17.(1.1)图像帧提取子步骤：将视频数据分离成一组单个图像帧，对其进行间隔提取后保存为关键图像帧；
18.(1.2)关键特征点提取子步骤：检测提取出来的关键图像帧，得到人脸检测矩形框四个端点和关键特征点的位置坐标，使用人脸检测矩形框对关键图像帧进行裁剪，得到人脸图像帧；所述关键特征点分别位于眼睛、鼻子、嘴角区域；
19.(1.3)人脸对齐子步骤：基于关键特征点对人脸进行矫正，使得两只眼睛坐标连线与水平坐标轴平行，以第一张人脸图像帧的关键特征点坐标为基准，将后续人脸图像帧的关键特征点对齐在同一水平线上。
20.(1.4)生成人脸图像帧数据集子步骤：将各人脸图像帧调整为统一的尺寸并进行归一化处理，得到人脸图像帧数据集。
21.在一个可选的实施例中，所述面部表情特征提取步骤，具体为：
22.将人脸图像帧输入到残差网络中，得到一组从初级别层次到高级别层次的面部表情特征，包括初级别层次的面部表情的颜色和边缘特征，中级别层次的面部表情纹理特征，以及高级别的局部细腻度特征。
23.在一个可选的实施例中，所述多尺度及空间上下文特征提取步骤，包括如下子步骤：
24.(3.1)获得不同尺度大小特征图子步骤：将面部表情纹理特征缩放成多个不同尺度大小的特征图；
25.(3.2)获得多尺度立体空间特征子步骤：将不同尺度大小的特征图输入到尺度不可知注意力中进行处理，获取不同尺度大小特征图的空间上下文特征，所述尺度不可知注意力是利用不同尺度上的特征相似性对不同尺度的空间上下文特征进行加权；每个大尺度特征图的空间上下文特征也会输入到相邻的小尺度特征图所连接的尺度不可知注意力中
进行处理，得到多尺度立体空间特征；
26.(3.3)获得多尺度及空间上下文特征子步骤：将多尺度立体空间特征和局部细腻度特征叠加融合，得到多尺度及空间上下文特征。
27.在一个可选的实施例中，所述全局关键空间域上下文特征提取步骤，包括如下子步骤：
28.(4.1)自注意力处理子步骤。将多尺度及空间上下文特征输入到自注意力中进行线性层操作，得到自注意力权重，将权重分配给多尺度及空间上下文特征，得到新的多尺度及空间上下文特征；
29.(4.2)空间注意力处理子步骤。将新的多尺度及空间上下文特征输入到空间注意力中进行卷积和平均池化操作，提取帧维度上的空间注意力权重，并对多个图像帧的特征进行融合，计算相邻帧间的表情变化，得到全局关键空间域上下文特征。
30.在一个可选的实施例中，所述步骤(3)中，将多尺度及空间上下文特征压缩后输入到自注意力和空间注意力中依次进行处理，所述压缩具体为：
31.将步骤(3)输出的多尺度及空间上下文特征输入到全局平均池化层中进行特征压缩，得到压缩后的多尺度及空间上下文特征。
32.第二方面，本发明提供了一种面部表情识别系统，包括如下单元：
33.视频数据处理单元：对视频数据进行帧提取操作，得到一组单个图像帧，并对各图像帧提取关键特征点，基于关键特征点位置坐标对各图像帧进行矫正和对齐，生成人脸图像帧数据集，以下单元均针对人脸图像帧数据集中各人脸图像帧进行处理；
34.面部表情特征提取单元：将人脸图像帧输入到残差网络中，提取面部表情纹理特征和局部细腻度特征；
35.多尺度及空间上下文特征提取单元：对面部表情纹理特征进行特征金字塔提取操作，获取多尺度立体空间特征；将其与局部细腻度特征叠加融合，得到多尺度及空间上下文特征；
36.全局关键空间域上下文特征提取单元：将多尺度及空间上下文特征直接或压缩后输入到自注意力和空间注意力中依次进行处理，获得全局关键空间域上下文特征；
37.时间特征提取单元：将全局关键空间域上下文特征输入到循环神经网络，提取包括时间上下文的面部表情多重上下文特征；
38.面部表情识别单元：将提取的面部表情多重上下文特征输入到全连接层，在全连接层中使用概率分布计算方式对面部表情进行分类识别。
39.在一个可选的实施例中，所述视频数据处理单元，包括以下子单元：
40.图像帧提取子单元：将视频数据分离成一组单个图像帧，对其进行间隔提取后保存为关键图像帧；
41.关键特征点提取子单元：检测提取出来的关键图像帧，得到人脸检测矩形框四个端点和关键特征点的位置坐标，使用人脸检测矩形框对关键图像帧进行裁剪，得到人脸图像帧；所述关键特征点分别位于眼睛、鼻子、嘴角区域；
42.人脸对齐子单元：基于关键特征点对人脸进行矫正，使得两只眼睛坐标连线与水平坐标轴平行，以第一张人脸图像帧的关键特征点坐标为基准，将后续人脸图像帧的关键特征点对齐在同一水平线上。
43.生成人脸图像帧数据集子单元：将各人脸图像帧调整为统一的尺寸并进行归一化处理，得到人脸图像帧数据集。
44.在一个可选的实施例中，所述全局关键空间域上下文特征提取单元，包括如下子单元：
45.自注意力处理子单元：将多尺度及空间上下文特征输入到自注意力子单元，利用线性层操作得到自注意力权重，将权重分配给多尺度及空间上下文特征，得到新的多尺度及空间上下文特征；
46.空间注意力处理子单元：将新的多尺度及空间上下文特征输入到空间注意力子单元进行卷积和平均池化操作，提取帧维度上的空间注意力权重，并对多个图像帧的特征进行融合，计算相邻帧间的表情变化，得到全局关键空间域上下文特征。
47.在一个可选的实施例中，所述全局关键空间域上下文特征提取单元中，将多尺度及空间上下文特征压缩后输入到自注意力和空间注意力中依次进行处理，所述压缩具体为：
48.将多尺度及空间上下文特征提取单元输出的多尺度及空间上下文特征输入到全局平均池化层中进行特征压缩，得到压缩后的多尺度及空间上下文特征。
49.通过本发明构思的以上技术方案与现有技术相比，具有以下有益效果：
50.本发明提供了一种面部表情识别方法及系统，通过残差网络提取面部表情纹理特征和局部细腻度特征，将面部纹理特征输入到特征金字塔提取模块得到多尺度立体空间特征，将其和局部细腻度特征融合，突出关键区域，消除无关的干扰特征，获取更丰富的面部表情特征。本发明将自注意力和空间注意力加入到卷积神经网络模型中，并融合特征金字塔模块提取的多尺度立体空间特征，有效提高了在受多重因素影响下的面部表情识别准确率。
附图说明
51.图1为本发明的面部表情识别方法的流程图；
52.图2为本发明实施例的流程图；
53.图3为本发明实施例提供的特征金字塔提取模块结构图；
54.图4为本发明实施例提供的自注意力和空间注意力结构图；
55.图5为本发明实施例提供的方法在ck+数据集上表情分类混淆矩阵结果图；
56.图6为本发明实施例提供的方法在jaffe数据集上表情分类混淆矩阵结果图；
57.图7为本发明实施例提供的方法在oulu-casia数据集上表情分类混淆矩阵结果图；
58.图8为本发明的面部表情识别系统的流程图。
具体实施方式
59.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
60.图1为本发明的面部表情识别方法流程图，如图1所示，包括如下步骤：
61.(1)视频数据处理步骤：对视频数据进行帧提取操作，得到一组单个图像帧，并对各图像帧提取关键特征点，基于关键特征点位置坐标对各图像帧进行矫正和对齐，生成人脸图像帧数据集，以下步骤均针对人脸图像帧数据集中各人脸图像帧进行处理；
62.(2)面部表情特征提取步骤：将人脸图像帧输入到残差网络中，提取面部表情纹理特征和局部细腻度特征；
63.(3)多尺度及空间上下文特征提取步骤：对面部表情纹理特征进行特征金字塔提取操作，获取多尺度立体空间特征；将其与局部细腻度特征叠加融合，得到多尺度及空间上下文特征；
64.(4)全局关键空间域上下文特征提取步骤：将多尺度及空间上下文特征直接或压缩后输入到自注意力和空间注意力中依次进行处理，获得全局关键空间域上下文特征；
65.(5)时间特征提取步骤：将全局关键空间域上下文特征输入到循环神经网络，提取包括时间上下文的面部表情多重上下文特征；
66.(6)面部表情识别步骤：将提取的面部表情多重上下文特征输入到全连接层，在全连接层中使用概率分布计算方式对面部表情进行分类识别。
67.具体地，本发明提供的面部表情识别方法，以下是详细的技术方案，图2是本发明实施例的流程图；如图2所示，包括如下步骤：
68.(1)视频数据处理步骤：对视频数据进行帧提取操作，得到一组单个图像帧，并对各图像帧提取关键特征点，基于关键特征点位置坐标对各图像帧进行矫正和对齐，生成人脸图像帧数据集。
69.(1.1)图像帧提取子步骤：使用开源的多媒体工具库ffmpeg将视频数据分离成一组单个图像帧，对其间隔5帧提取并保存为关键图像帧。
70.(1.2)关键特征点提取子步骤：使用mtcnn方法将关键图像帧中图片不断进行resize操作，得到大小不同的图片，将这些图片堆叠起来，形成一个图片金字塔并将其输入到pnet网络中得到人脸的候选例，随后通过分类得分和nms方法对候选例进行筛选，得到大于设定阈值的候选例；将pnet中得到的候选例输入到rnet进行精调，运用分类得分和nms方法和更高的阈值筛选候选例，rnet避免了人脸图像的形变并保留了更多细节；将rnet筛选后的候选例输入到onet中，经过分类得分和nms方法输出人脸检测矩形框四个端点坐标序列bounding_box
t
和五个关键特征点(分别对应左侧眼睛、右侧眼睛、鼻子，左侧嘴角，右侧嘴角)坐标序列p
t
：
[0071][0072]
其中，t为关键图像帧序号，bounding
boxt
[k]为第t帧中人脸矩形框端点坐标，0≤k≤3；为第t帧中关键特征点位置坐标，1≤i≤5。
[0073]
(1.3)人脸对齐子步骤：基于人脸检测矩形框的四个端点位置坐标对关键图像帧进行裁剪得到人脸图像帧；基于关键特征点对人脸进行矫正，使得两只眼睛坐标连线与水平坐标轴平行；以第一个人脸图像帧中关键特征点坐标为基准，将后续人脸图像帧中关键特征点对齐在同一水平线上。
[0074]
(1.4)生成人脸图像帧数据集子步骤：将对齐后的人脸图像帧使用pytorch框架中的transforms方法调整为256
×
256尺寸，再使用中心裁剪的方法将人脸图像帧调整为224
×
224尺寸，对人脸图像帧rgb三原色通道进行归一化整理到[-1，1]区间，得到归一化后的人脸图像帧x
t
：
[0075][0076]
mean(x)＝[0.485，0.456，0.406]，std(x)＝[0.229，0.224，0.225]
[0077]
其中，mean(x)为三个颜色通道均值，std(x)为各通道标准差。
[0078]
使用pytorch框架中的dataloader方法将归一化的人脸图像帧封装成一个数据迭代器，得到人脸图像帧数据集dataloader：
[0079]
dataloader＝dataloader(dataset(x
t
)，batchsize，transforms)
[0080]
其中，dataloader为设置为batchsize大小、数据处理及归一化操作，dataset(x
t
)对齐后的人脸图像帧，batchsize为一次训练回合的数据量，transforms为人脸图像帧裁剪和归一化的方法。
[0081]
(2)面部表情特征提取步骤：将人脸图像帧数据集dataloader输入到残差网络中，提取人脸图像帧中面部表情特征，得到提取的特征数据f(x
t
)：
[0082]
f(x
t
)＝resnet(dataloader)
[0083]
其中，resnet代表50层的残差网络，普通的残差网络都因为层次太深而导致的梯度消失和梯度爆炸问题所困扰，但是50层的残差网络使用了shortcut连接的残差块巧妙地解决了梯度消失和梯度爆炸的问题，在网络中还使用batch normalization层和l2正则化以防止网络过拟合等问题。
[0084]
(3)多尺度及空间上下文特征提取步骤：对面部表情纹理特征进行特征金字塔提取操作，获取多尺度立体空间特征；将其与局部细腻度特征叠加融合，得到多尺度及空间上下文特征。
[0085]
(3.1)获得不同尺度大小特征图子步骤：图3是本发明实施例提供的特征金字塔提取模块的结构图；如图3所示，将残差网络输出的局部纹理特征图放缩成五个不同尺度大小特征图{s1；...；s5}。
[0086]
(3.2)获得多尺度立体空间特征子步骤：将不同尺度大小的特征图分别输入到尺度不可知注意力中，获取不同尺度大小特征图的空间上下文特征，同时大尺度特征图的空间上下文特征也会输入到相邻的小尺度所连接的尺度不可知注意力中得到多尺度立体空间特征f
pa
(f
c3-layer
(x
t
))：
[0087][0088]
其中，σ表示sigmoid函数，si表示缩放的第i个特征图，f
c3-layer
(x
t
)代表面部表情纹理特征，m代表着放缩尺度的数量，φ代表不同尺度大小特征图空间上下文特征函数，zj代表不同尺度大小特征图的区域特征，θ代表不同尺度大小特征图中不同区域上下文特征的相关性权重。
[0089]
(3.3)获得多尺度及空间上下文特征子步骤：将输出的多尺度立体空间特征与局
部细腻度特征f
c4-layer
(x
t
)进行叠加融合操作，得到多尺度及空间上下文特征f
pc
(x
t
)：
[0090][0091]
其中，代表着特征的叠加操作。
[0092]
(4)特征压缩步骤：将多尺度及空间上下文特征输入到全局平均池化层中进行特征压缩，得到压缩后的多尺度及空间上下文特征。
[0093]
(5)全局关键空间域上下文特征提取步骤：将压缩后的多尺度及空间上下文特征输入到目注意力和空间注意力中依次进行处理，获得全局关键空间域上下文特征。
[0094]
(5.1)自注意力处理子步骤：图4是本发明实施例提供的自注意力和空间注意力的结构图。如图4所示，将多尺度及空间上下文特征输入到自注意力中利用线性层操作，得到自注意力权重ac
t
(f
pc
(x
t
))：
[0095]
ac
t
(f
pc
(x
t
))＝σ(linear(f
pc
(x
t
)))
[0096]
其中，linear代表线性层操作。
[0097]
将得到的自注意力权重对输入特征进行加权，得到新的多尺度及空间上下文特征fc
t
(f
pc
(x
t
))：
[0098][0099]
其中，t代表人脸图像帧的序号，此处人脸图像帧序号和关键特征点提取子步骤种关键图像帧序号保持一致，n代表人脸图像帧数据集的总帧数。
[0100]
(5.2)空间注意力处理子步骤：将其输入到空间注意力中进行卷积和平均池化操作，得到空间注意力权重as
t
(f
pc
(x
t
))，
[0101]
as
t
(f
pc
(x
t
))＝σ(f1(avgpool(fc
t
(f
pc
(x
t
)))))
[0102]
其中，f1代表卷积运算，avgpool代表平均池化操作。
[0103]
对空间注意力权重进行加权计算得到全局关键空间域上下文特征fs
t
(f
pc
(x
t
))：
[0104][0105]
(6)时间特征提取步骤：本发明选用门控制循环单元(gru)做为循环神经网络提取时间特征，门控制循环单元相较于其他循环神经网络结构模型更简单，尤其在网络较深的模型中；gru通过一个门控就可以同时进行遗忘和选择记忆，参数上明显缩减且效率更高。将全局关键空间域上下文特征fs
t
(f
pc
(x
t
))输入到gru得到包括时间上下文的面部表情多重上下文特征y
t
：
[0106]yt
＝gru(fs
t
(f
pc
(x
t
)))
[0107]
(7)面部表情识别步骤：通过gru单元得到的特征y
t
输入到全连接层，通过全连接层sigmoid函数的计算，得到最终的面部表情分类结果。
[0108]
经过上述的步骤，实现人脸图像帧的面部表情识别。在网络训练过程中使用了交叉熵损失作为损失函数，通过随机梯度下降优化器(sgd)对损失函数值进行优化，使用sigmoid作为激活函数，权值衰减超参数设置为1e-4，学习率初始值为0.001，在网络训练过
程中对学习率进行了动态调整，最终达到了最优结果。
[0109]
本发明方法采用准确率、混淆矩阵、受试者工作特征曲线(receiver operating characteristic curve，roc)面积作为面部表情识别的具体评价指标。其中准确率值和受试者工作特征曲线roc面积越大，说明识别性能越好；混淆矩阵是用来进行准确度评价的一种指标，用于比较预测结果和真实分类值，得到每种表情的预测准确率。
[0110]
图5是本发明方法在ck+数据集上表情分类混淆矩阵结果图。图6是本发明方法在jaffe数据集上表情分类混淆矩阵结果图，图7是本发明方法在oulu-casia数据集上表情分类混淆矩阵结果图。其中，ck+数据集和jaffe数据集均包括七种面部表情，oulu-casia数据集包括六种面部表情。采用五折交叉验证得到平均结果作为本发明方法在各数据集上的准确率，所述五折交叉验证是把数据集平均分成5等份，每次实验拿一份做测试，其余用做训练，实验5次求平均值。
[0111]
具体地，本发明方法在ck+数据集上通过五折交叉验证得到的平均结果和其他方法准确率对比如表1所示：
[0112]
表1：ck+数据集上各方法准确率对比表
[0113][0114]
具体地，本发明方法在jaffe数据集上通过五折交叉验证实验得到的平均结果和其他方法准确率对比如表2所示：
[0115]
表2：jaffe数据集上各方法准确率对比表
[0116][0117]
具体地，本发明方法在oulu-casia数据集上通过五折交叉验证实验得到的平均结果和其他方法准确率对比如表3所示：
[0118]
表3：oulu-casia数据集上各方法准确率对比表
[0119][0120]
由表1，2，3可知，本发明构建的面部表情识别方法在三个数据集上的性能都能达到较优的水平。
[0121]
表4是本发明在三个数据集上的roc面积，roc曲线是衡量深度学习方法优劣的性能指标之一。roc面积在0.5和1之间，面积越大则说明方法效果越好。由表4可以看出本发明方法在三个数据集上的roc面积均远大于0.5，说明本方法对面部表情识别的分类效果达到了较优水平。
[0122]
表4：不同数据集上的roc面积
[0123][0124]
图8是本发明实施例提供的面部表情识别系统的流程图。如图8所示，包括如下单元：
[0125]
视频数据处理单元：对视频数据进行帧提取操作，得到一组单个图像帧，并对各图像帧提取关键特征点，基于关键特征点位置坐标对各图像帧进行矫正和对齐，生成人脸图像帧数据集，以下单元均针对人脸图像帧数据集中各人脸图像帧进行处理；
[0126]
面部表情特征提取单元：将人脸图像帧输入到残差网络中，提取面部表情纹理特征和局部细腻度特征；
[0127]
多尺度及空间上下文特征提取单元：对面部表情纹理特征进行特征金字塔提取操作，获取多尺度立体空间特征；将其与局部细腻度特征叠加融合，得到多尺度及空间上下文特征；
[0128]
全局关键空间域上下文特征提取单元：将多尺度及空间上下文特征直接或压缩后输入到自注意力和空间注意力中依次进行处理，获得全局关键空间域上下文特征；
[0129]
时间特征提取单元：将全局关键空间域上下文特征输入到循环神经网络，提取包括时间上下文的面部表情多重上下文特征；
[0130]
面部表情识别单元：将提取的面部表情多重上下文特征输入到全连接层，在全连接层中使用概率分布计算方式对面部表情进行分类识别。
[0131]
本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种面部表情识别方法，其特征在于，依次包括如下步骤：(1)视频数据处理步骤：对视频数据进行帧提取操作，得到一组单个图像帧，并对各图像帧提取关键特征点，基于关键特征点位置坐标对各图像帧进行矫正和对齐，生成人脸图像帧数据集；(2)面部表情特征提取步骤：将人脸图像帧数据集中各人脸图像帧输入到残差网络中，提取面部表情纹理特征和局部细腻度特征；(3)多尺度及空间上下文特征提取步骤：对面部表情纹理特征进行特征金字塔提取操作，获取多尺度立体空间特征，将其与局部细腻度特征叠加融合，得到多尺度及空间上下文特征；(4)全局关键空间域上下文特征提取步骤：将多尺度及空间上下文特征直接或压缩后输入到自注意力和空间注意力中依次进行处理，获得全局关键空间域上下文特征；(5)时间特征提取步骤：将全局关键空间域上下文特征输入到循环神经网络，提取包括时间上下文的面部表情多重上下文特征；(6)面部表情识别步骤：将提取的面部表情多重上下文特征输入到全连接层，在全连接层中使用概率分布计算方式对面部表情进行分类识别。2.根据权利要求1所述的一种面部表情识别方法，其特征在于，所述视频数据处理步骤，包括如下子步骤：(1.1)图像帧提取子步骤：将视频数据分离成一组单个图像帧，对其进行间隔提取后保存为关键图像帧；(1.2)关键特征点提取子步骤：对关键图像帧提取人脸检测矩形框四个端点和关键特征点的位置坐标，使用人脸检测矩形框对关键图像帧进行裁剪，得到人脸图像帧；所述关键特征点分别位于眼睛、鼻子、嘴角区域；(1.3)人脸对齐子步骤：基于关键特征点对人脸进行矫正，使得两只眼睛坐标连线与水平坐标轴平行，以第一张人脸图像帧的关键特征点坐标为基准，将后续人脸图像帧的关键特征点对齐在同一水平线上；(1.4)生成人脸图像帧数据集子步骤：将各人脸图像帧调整为统一的尺寸并进行归一化处理，得到人脸图像帧数据集。3.根据权利要求1所述的一种面部表情识别方法，其特征在于，所述面部表情特征提取步骤，具体为：将人脸图像帧输入到残差网络中，得到一组面部表情特征，包括初级别层次的面部表情颜色和边缘特征，中级别层次的面部表情纹理特征，以及高级别的局部细腻度特征。4.根据权利要求1所述的一种面部表情识别方法，其特征在于，所述多尺度及空间上下文特征提取步骤，包括如下子步骤：(3.1)获得不同尺度大小特征图子步骤：将面部表情纹理特征缩放成多个不同尺度大小的特征图；(3.2)获得多尺度立体空间特征子步骤：将不同尺度大小的特征图输入到尺度不可知注意力中进行处理，获取不同尺度大小特征图的空间上下文特征，所述尺度不可知注意力是利用不同尺度上的特征相似性对不同尺度的空间上下文特征进行加权；每个大尺度特征图的空间上下文特征也会输入到相邻的小尺度特征图所连接的尺度不可知注意力中进行
处理，得到多尺度立体空间特征；(3.3)获得多尺度及空间上下文特征子步骤：将多尺度立体空间特征和局部细腻度特征叠加融合，得到多尺度及空间上下文特征。5.根据权利要求1所述的一种面部表情识别方法，其特征在于，所述全局关键空间域上下文特征提取步骤，包括如下子步骤：(4.1)自注意力处理子步骤：将多尺度及空间上下文特征输入到自注意力中进行线性层操作，得到自注意力权重，将权重分配给多尺度及空间上下文特征，得到新的多尺度及空间上下文特征；(4.2)空间注意力处理子步骤：将新的多尺度及空间上下文特征输入到空间注意力中进行卷积和平均池化操作，提取帧维度上的空间注意力权重，并对多个图像帧的特征进行融合，计算相邻帧间的表情变化，得到全局关键空间域上下文特征。6.根据权利要求1所述的一种面部表情识别方法，其特征在于，所述步骤(3)中，将多尺度及空间上下文特征压缩后输入到自注意力和空间注意力中依次进行处理，所述压缩具体为：将步骤(3)输出的多尺度及空间上下文特征输入到全局平均池化层中进行特征压缩，得到压缩后的多尺度及空间上下文特征。7.一种面部表情识别系统，其特征在于，包括如下单元：视频数据处理单元：对视频数据进行帧提取操作，得到一组单个图像帧，并对各图像帧提取关键特征点，基于关键特征点位置坐标对各图像帧进行矫正和对齐，生成人脸图像帧数据集，以下单元均针对人脸图像帧数据集中各人脸图像帧进行处理；面部表情特征提取单元：将人脸图像帧输入到残差网络中，提取面部表情纹理特征和局部细腻度特征；多尺度及空间上下文特征提取单元：对面部表情纹理特征进行特征金字塔提取操作，获取多尺度立体空间特征；将其与局部细腻度特征叠加融合，得到多尺度及空间上下文特征；全局关键空间域上下文特征提取单元：将多尺度及空间上下文特征直接或压缩后输入到自注意力和空间注意力中依次进行处理，获得全局关键空间域上下文特征；时间特征提取单元：将全局关键空间域上下文特征输入到循环神经网络，提取包括时间上下文的面部表情多重上下文特征；面部表情识别单元：将提取的面部表情多重上下文特征输入到全连接层，在全连接层中使用概率分布计算方式对面部表情进行分类识别。8.根据权利要求7所述的一种面部表情识别系统，其特征在于，所述视频数据处理单元之后，还包括如下子单元：图像帧提取子单元：将视频数据分离成一组单个图像帧，对其进行间隔提取后保存为关键图像帧；关键特征点提取子单元：检测提取出来的关键图像帧，得到人脸检测矩形框四个端点和关键特征点的位置坐标，使用人脸检测矩形框对关键图像帧进行裁剪，得到人脸图像帧；所述关键特征点分别位于眼睛、鼻子、嘴角区域；人脸对齐子单元：基于关键特征点对人脸进行矫正，使得两只眼睛坐标连线与水平坐
标轴平行，以第一张人脸图像帧的关键特征点坐标为基准，将后续人脸图像帧的关键特征点对齐在同一水平线上。生成人脸图像帧数据集子单元：将各人脸图像帧调整为统一的尺寸并进行归一化处理，得到人脸图像帧数据集。9.根据权利要求7所述的一种面部表情识别系统，其特征在于，所述全局关键空间域上下文特征提取单元，包括如下子单元：自注意力处理子单元：将多尺度及空间上下文特征输入到自注意力中进行线性层操作，得到自注意力权重，将权重分配给多尺度及空间上下文特征，得到新的多尺度及空间上下文特征；空间注意力处理子单元：将新的多尺度及空间上下文特征输入到空间注意力中进行卷积和平均池化操作，提取帧维度上的空间注意力权重，并对多个图像帧的特征进行融合，计算相邻帧间的表情变化，得到全局关键空间域上下文特征。10.根据权利要求7所述的一种面部表情识别方法，其特征在于，所述全局关键空间域上下文特征提取单元中，将多尺度及空间上下文特征压缩后输入到自注意力和空间注意力中依次进行处理，所述压缩具体为：将多尺度及空间上下文特征提取单元输出的多尺度及空间上下文特征输入到全局平均池化层中进行特征压缩，得到压缩后的多尺度及空间上下文特征。

技术总结
本发明公开了一种面部表情识别方法及系统，属于表情识别技术领域，包括：视频数据处理得到人脸图像帧数据集；将各人脸图像帧输入到残差网络提取面部表情纹理特征和局部细腻度特征；将面部表情纹理特征输入特征金字塔模块获得多尺度立体空间特征，将其叠加局部细腻度特征，得到多尺度及空间上下文特征；将多尺度及空间上下文特征输入双重级联模块获得全局关键空间域上下文特征；将全局关键空间域上下文特征输入循环神经网络，提取包含时间特征的多重上下文特征；将多重上下文特征输入到全连接层，对面部表情进行分类识别。本发明能够有效提高面部表情识别的准确率。效提高面部表情识别的准确率。效提高面部表情识别的准确率。


技术研发人员：刘三女牙 杨宗凯 何自力 朱晓亮 戴志诚 赵亮
受保护的技术使用者：华中师范大学
技术研发日：2021.11.04
技术公布日：2022/3/7