[face] Facial Motion Capture

 

回顾一下表情捕捉技术的演进历史，

• 第一代表情捕捉技术，核心是人脸对齐算法，跟踪方式简单粗暴，2D数据维度，最终得到的表情需要大量人工修复，2009年阿凡达该技术被广泛应用，底层算法是AAM（Active Aapearance Model）。
• 第二代将2D跟踪推广到了3D，但本质上跟第一代没什么区别，无法跟踪微表情。

• 最新一代，以 ILM Snapsolver 以及 FACEGOOD Dual 为代表是第三代电影级表情捕捉技术，其点云数量没有上限，可以跟踪微表情，凭借优异的表现，其技术原理在2017年获得了奥斯卡奖。

 

 

绑定方式 

-- 骨骼动画 or Blend Shapes

【动画VFX技术】国人自主研发·FACEGOOD突破新技术：数字人高精度实时面部捕捉，开发自己的数字人~

【动捕技术】国内视效行业不断进步！FACEGOOD更新表情建模、绑定，面部捕捉及肌肉仿真的全流程软件Avatary

https://github.com/FACEGOOD/FACEGOOD-Audio2Face

 

 

BlendShape

Arkit只能驱动52个bs，细节较少。但是Metahuman有多少个bs？

687个bs，还有887根骨骼，如果把Metahuman理解为一辆车，那么Avatary实时直驱就是发动机，可以直接驱动687个bs及887根骨骼。

Blendshape学习笔记 [不同的blendshape，定义不同，有例子]

• 原理

BlendShapes（又名 morph-targets 或者 vertex level animation），与上面的骨骼动画不同，这种实现方式更为细腻——它是直接对网格顶点上的 vertices, normals 和 tangents 数据进行操作。BlendShapes 本来是 Maya 上的概念，后来 Unity 对它提供了支持，现在就常用它来实现表情动画了。

我们知道，在模型动画中，最基本的就是顶点动画（per-vertex animation），即为网格的每个顶点添加动画——将一段时间内顶点变化的数据信息全部储存下来，然后运行时应用这些顶点数据就行了。

但为每个顶点存储数据，工作量和动画数据量都太过恐怖，所以产生了一个变种——变形目标动画（morph target animation）。同样是存储模型网格的顶点数据，这里只做几个固定的极端姿势（每个极端姿势的顶点是一一对应的，顶点数量是相同的），运行时把两个或以上的姿势进行混合（将模型在极端姿势下的顶点位置进行线性插值），从而生成动画。

而这里的 BlendShapes 就是变形目标动画的一种实现。