一种快速面部识别替换的自适应算法的制作方法

1.本发明涉及面部识别替换技术领域，特别的为一种快速面部识别替换的自适应算法。


背景技术：

2.人脸识别，是基于人的脸部特征信息进行身份识别的一种生物识别技术。用摄像机或摄像头采集含有人脸的图像或视频流，并自动在图像中检测和跟踪人脸，进而对检测到的人脸进行脸部识别的一系列相关技术，通常也叫做人像识别、面部识别。
3.人脸替换，是提取人脸对象语义信息，通过目标人脸的三维模型，根据原始人脸的姿态、表情、光照等估计信息自动调整目标人脸，替换原始人脸，实现目标人脸与原始图像的无缝融合。
4.在影视视频的拍摄完成之后，可能因为各种原因需要替换演员，但是重新拍摄耗资巨大，传统的画面剪辑贴图模式需要工作人员逐帧抠图贴图替换，费时费力，而且速度较慢，无法满足使用者对于面部识别替换的要求。
5.又如在专利申请号为cn201911247743.8的“一种基于光照迁移的视频人脸替换方法”中，在说明书中记载有“包括：步骤1、人脸侦测和识别，首先将换脸视频中的被换目标人脸facea定位，识别人脸特征值，定位人脸的多个关键点，确定人脸的角度偏移信息；接下来对替换人脸faceb进行定位，识别人脸特征值，进行人脸的多个关键点检测；步骤2、确定变换矩阵，对换脸视频的人脸信息进行定位与侦测，并进行特征提取，提取特征featurea，找出facea转换到featurea的所需扭曲变换的矩阵transfera；步骤3、人脸替换，对faceb进行基于transfera的变换，把faceb还原到换脸视频的拍摄角度下，形成新的人脸信息featureb，使用featureb对featurea进行替换；步骤4、光照迁移，运用光照迁移算法，得到视频人脸替换的最终结果。本发明可广泛应用推广到计算机视觉、视觉设计、数字娱乐和电影制片等中”，上述专利虽然能够实现人脸替换的效果，但是其替换速度较慢。
6.综上所述，研发一种快速面部识别替换的自适应算法，仍是面部识别替换技术领域中急需解决的关键问题。


技术实现要素：

7.本发明提供的了一种快速面部识别替换的自适应算法，本发明通过对输入a图像和b图像通过机器学习进行位置标定，推导面部朝向的角度，并分别计算a图像和b图像的肤色，获得a图像和b图像中脸部区域像素的x和y方向的梯度，根据x和y方向的梯度的均值计算角度，进而获得a图像和b图像中脸部区域像素的梯度均值，达到快速实现面部识别和替换的效果，提高了对于面部识别和替换的效率。
8.为实现以上目的，本发明通过以下技术方案予以实现：一种快速面部识别替换的自适应算法，包括以下步骤：（1）对输入a图像和b图像通过机器学习进行位置标定；
（2）推导面部朝向的角度；（3）分别计算a图像和b图像的肤色；（4）分别获得a图像和b图像中脸部区域像素的x和y方向的梯度，记为xa、ya、xb和yb，并根据x和y方向的梯度的均值计算角度；（5）分别获得a图像和b图像中脸部区域像素的梯度均值，分别记为complexa和complexb。
9.本发明进一步设置为：在步骤（1）中，分别获得a图像和b图的脸部边缘27点在图像上的坐标，记为a1pt和b1pt，并分别获得a图像和b图的五官39点在图像上的坐标，记为a2pt和b2pt，根据脸部边缘获得脸部区域，记为maska和maskb。
10.本发明进一步设置为：在步骤（2）中，预设相机，设通过单目相机位置估计预算面部角度。
11.本发明进一步设置为：在步骤（3）中，分别获得a图像和b图像中脸部区域像素的均值和标准差，记为skina、skinb、deva和devb。
12.本发明进一步设置为：在步骤（4）中，在x方向梯度的均值的角度计算公式为：rota = atan2(avg(ya),avg(xa))。
13.本发明进一步设置为：在步骤（4）中，在y方向梯度的均值的角度计算公式为：rotb = atan2(avg(yb),avg(xb))。
14.本发明进一步设置为：在步骤（5）中，所述的complexa的计算公式为：complexa=sqrt(pow(avg(xa), 2) + pow(avg(ya), 2))。
15.本发明进一步设置为：在步骤（5）中，所述的complexb的计算公式为：complexb=sqrt(pow(avg(xb), 2) + pow(avg(yb), 2))。
16.本发明提供了一种快速面部识别替换的自适应算法。具备以下有益效果：本发明通过对输入a图像和b图像通过机器学习进行位置标定，推导面部朝向的角度，并分别计算a图像和b图像的肤色，获得a图像和b图像中脸部区域像素的x和y方向的梯度，根据x和y方向的梯度的均值计算角度，进而获得a图像和b图像中脸部区域像素的梯度均值，达到快速实现面部识别和替换的效果，提高了对于面部识别和替换的效率。
附图说明
17.图1为本发明实施例2中的a图像；图2为本发明实施例2中的b图像；图3为本发明实施例2中的新图t的图像；图4为本发明实施例2中的替换人脸后的图像。
具体实施方式
18.为使本发明实施例的目的、技术方案和优点更加清楚，下面将对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
19.下面结合实施例对本发明作进一步的描述。
20.实施例1：一种快速面部识别替换的自适应算法，包括以下步骤：（1）对输入a图像和b图像通过机器学习进行位置标定。
21.分别获得a图像和b图的脸部边缘27点在图像上的坐标，记为a1pt和b1pt，并分别获得a图像和b图的五官39点在图像上的坐标，记为a2pt和b2pt，根据脸部边缘获得脸部区域，记为maska和maskb。
22.（2）推导面部朝向的角度。
23.预设相机，设通过单目相机位置估计预算面部角度。
24.（3）分别计算a图像和b图像的肤色。
25.分别获得a图像和b图像中脸部区域像素的均值（肤色）和标准差（肤色大概范围），记为skina、skinb、deva和devb。
26.（4）分别获得a图像和b图像中脸部区域像素的x和y方向的梯度，记为xa、ya、xb和yb，并根据x和y方向的梯度的均值计算角度。
27.在x方向梯度的均值的角度计算公式为：rota = atan2(avg(ya),avg(xa))。
28.在y方向梯度的均值的角度计算公式为：rotb = atan2(avg(yb),avg(xb))。
29.（5）分别获得a图像和b图像中脸部区域像素的梯度均值（平均复杂度），分别记为complexa和complexb。
30.complexa的计算公式为：complexa=sqrt(pow(avg(xa), 2) + pow(avg(ya), 2))。
31.complexb的计算公式为：complexb=sqrt(pow(avg(xb), 2) + pow(avg(yb), 2))。
32.实施例2：请参照图1-4所示，作为本自适应算法的一种实施形式，其计算过程如下：1）增强或降低a图像面部纹理复杂程度，使其与b图面部纹理复杂度接近一致。
33.若complexa 《complexb 则通过usm锐化法增强图像；若complexa 》complexb 则通过非局部平均去噪法模糊图像。
34.2）将a图像的光照方向调整到b图像。
35.根据梯度图xa、ya、xb、yb为a图像重建梯度场，即建立方程组ac=b，求解系数稀疏矩阵a及b，只要将a、b求出来，便可以求解方程组得到c，而c就是我们得到的结果的像素颜色值。
36.3）通过仿射变换或投影变换将a图像五官39点映射到b图像的39点位置。
37.其中，仿射：取边缘标记a1pt、a2pt和b1pt、b2pt数组中左、右眼角和下巴3个位置建立仿射变换矩阵ma，对a2pt的39个点进行仿射变换，得到新的坐标组a2ptt；透视：取边缘标记a1pt、a2pt和b1pt、b2pt数组中左、右眼角和左右、嘴角4个位置建立透视变换矩阵mw，对a2pt的39个点进行仿射变换，得到新的坐标组a2ptt；二者都可，仿射针对面部侧效果更好，投影针对a图有张嘴等表情的情况下效果更好，可通过分析a2pt和b2pt进行选择。
38.4）对27+39点进行三角剖分得到233个三角面。
39.合并数组（a1pt,a2pt）和（b1pt,a2ptt）得到新的坐标数组；srcpt和dstpt，依据2组坐标的233组三角面生成对应仿射变换矩阵m，将a图像中233组对应区域的像素依据仿射变换映射到一张与b图像大小一致的新图t。
40.5）融合算法。
41.a计算图像t的人脸区域梯度场tg（mask）；b计算图像b的梯度场bg；c将t图的人脸区域梯度场覆盖b图人脸区域的梯度场；d重建b图像的梯度场，对梯度求偏导，从而获得散度。
42.为了更好的进行说明，假设有像素点6、7、10、11的散度值div(6)、div(7)、div(10)、div(11)，有4个方程：[v(2)+v(5)+v(7)+v(10)]-4*v(6)=div(6)；[v(3)+v(6)+v(8)+v(11)]-4*v(7)=div(7)；[v(6)+v(9)+v(11)+v(14)]-4*v(10)=div(10)；[v(7)+v(10)+v(12)+v(15)]-4*v(11)=div(11)。
[0043]
由b图像最外围一圈的每个像素点的值u，建立12个约束方程。
[0044]
v(n)=u(n) ，n ∈ {1，2，3，4，5，8，9，12，13，14，15，16} ；建立方程组ac=b，求解系数稀疏矩阵a及b。只要将a、b求出来，便可以求解方程组得到c，而c就是我们得到的结果的像素颜色值。
[0045]
本发明通过对输入a图像和b图像通过机器学习进行位置标定，推导面部朝向的角度，并分别计算a图像和b图像的肤色，获得a图像和b图像中脸部区域像素的x和y方向的梯度，根据x和y方向的梯度的均值计算角度，进而获得a图像和b图像中脸部区域像素的梯度均值，达到快速实现面部识别和替换的效果，提高了对于面部识别和替换的效率。
[0046]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不会使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种快速面部识别替换的自适应算法，其特征在于，包括以下步骤：（1）对输入a图像和b图像通过机器学习进行位置标定；（2）推导面部朝向的角度；（3）分别计算a图像和b图像的肤色；（4）分别获得a图像和b图像中脸部区域像素的x和y方向的梯度，记为xa、ya、xb和yb，并根据x和y方向的梯度的均值计算角度；（5）分别获得a图像和b图像中脸部区域像素的梯度均值，分别记为complexa和complexb。2.根据权利要求1所述的快速面部识别替换的自适应算法，其特征在于：在步骤（1）中，分别获得a图像和b图的脸部边缘27点在图像上的坐标，记为a1pt和b1pt，并分别获得a图像和b图的五官39点在图像上的坐标，记为a2pt和b2pt，根据脸部边缘获得脸部区域，记为maska和maskb。3.根据权利要求1所述的快速面部识别替换的自适应算法，其特征在于：在步骤（2）中，预设相机，设通过单目相机位置估计预算面部角度。4.根据权利要求1所述的快速面部识别替换的自适应算法，其特征在于：在步骤（3）中，分别获得a图像和b图像中脸部区域像素的均值和标准差，记为skina、skinb、deva和devb。5.根据权利要求1所述的快速面部识别替换的自适应算法，其特征在于：在步骤（4）中，在x方向梯度的均值的角度计算公式为：rota = atan2(avg(ya),avg(xa))。6.根据权利要求1所述的快速面部识别替换的自适应算法，其特征在于：在步骤（4）中，在y方向梯度的均值的角度计算公式为：rotb = atan2(avg(yb),avg(xb))。7.根据权利要求1所述的快速面部识别替换的自适应算法，其特征在于：在步骤（5）中，所述的complexa的计算公式为：complexa=sqrt(pow(avg(xa), 2) + pow(avg(ya), 2))。8.根据权利要求1所述的快速面部识别替换的自适应算法，其特征在于：在步骤（5）中，所述的complexb的计算公式为：complexb=sqrt(pow(avg(xb), 2) + pow(avg(yb), 2))。

技术总结
本发明提供一种快速面部识别替换的自适应算法，包括：（1）对输入A图像和B图像通过机器学习进行位置标定，（2）推导面部朝向的角度，（3）分别计算A图像和B图像的肤色，（4）分别获得A图像和B图像中脸部区域像素的x和y方向的梯度，并根据x和y方向的梯度的均值计算角度，（5）分别获得A图像和B图像中脸部区域像素的梯度均值；本发明能够达到快速实现面部识别和替换的效果，提高了对于面部识别和替换的效率。提高了对于面部识别和替换的效率。提高了对于面部识别和替换的效率。


技术研发人员：王正前 梅震坤 邹颂扬 鲍海波 王家伟 李颖
受保护的技术使用者：合肥安达创展科技股份有限公司
技术研发日：2021.11.29
技术公布日：2022/3/8