[人脸算法]技术方向综述

01 人脸技术的应用

人脸硬件产品：考勤支付，安防监控，医疗美容
人脸软件产品：各类娱乐软件，如美图秀秀

02 人脸图像算法及其研究方向

人脸检测核心算法

目的：检测图像中是否存在人脸

人脸检测是目标检测的分支，通用的目标检测方法都可以用来做人脸检测
人脸检测的独特模型：

1. 级联模型： 由粗到精，不断去掉假的人脸
   

2. 多任务模型 ：同时完成人脸关键点标注和人脸检测两个任务
   

3. 多尺度模型：对应于目标检测中的多尺度问题，一张图片中有多种尺度的目标
   

人脸关键点检测

目的：检测人脸中的关键点，即有语义特征的点，从早期的五个关键点到现在的72个关键点

1. 多任务模型（同上第2点）
2. 大姿态定位：如侧面，正面的转换，遮挡，模糊 存在大姿态遮挡时如何定位关键点
3. 关键点跟踪，针对于视频

人脸识别

基本步骤：人脸检测，人脸对齐（前两步相当于人脸归一化），人脸识别

方法一：度量学习

计算关键点之间的距离，给CNN模型输入同一个人的两张图片，希望CNN提取出来的特征向量之间的距离较小

improved：tripe loss 输入三张图片，其中有两张图片属于同一个人，一张图片属于另一个人，则让同一人的两张图特征向量之间距离较小，不同人图片之间特征向量距离较大

方法二：分类+验证模型

先训练一个分类模型，类别数和ID数相同，再用验证模型使得同一个人脸对应的特征向量之间距离较近

研究方向：

1. 更大，质量更高的数据集
2. 优化目标/损失函数的改进

人脸属性分析

应用：表情识别，年龄识别，颜值识别，装饰识别，脸型识别，性格识别

算法：分类模型（得到一个类别/在众多类别中选择一个类别），回归模型（得到一个数字，预测一个人的年龄，性别等），排序模型（得到一个分布，如无法知道确切的年龄值，但可以知道年龄的分布），分割（可以为后续算法提供预处理），局部属性分析（鼻子，眼镜，嘴巴等多个部位单独分析），

编辑：表情编辑，年龄编辑，颜值编辑，装饰编辑，脸型编辑，性格编辑
算法：GAN与风格化模型，独立属性模型（比如只改变年龄），统一的属性编辑，无/有监督模型

人脸三维重建：
应用：内容创作，AI主播，医疗整容
算法：人脸模型（研究通用的人脸模型，通过标准的人脸模型去调整参数），立体视觉（同一个人脸从不同角度拍摄），SFS，SFM

人脸算法的未来研究方向

细粒度的人脸检测及分析

小脸检测（地铁上安防监控），遮挡脸检测（口罩），活体检测（检测人脸是否为真人），伪造脸检测（检测人脸是否为AI生成的），微表情识别

人脸识别重难点

三维人脸、视频人脸、跨年龄（10岁80岁同一个人）、大姿态与遮挡、异质源（RGB图像，红外光图像）、少样本

人脸编辑重难点

精确的属性编辑（仿真一个微笑的表情，精确的控制微笑的幅度），统一的属性编辑（对人脸的各个属性分布进行编辑，而不是对于人脸中的每个属性单独设计模型），可控的属性编辑（控制幅度，控制区域，通过更加便于理解的方式编辑）

人脸三维重建

人脸模型，无监督模型（数据获取较难），人脸精度与细节，人脸遮挡

参考：B站有三AI