SMPLify论文阅读：Keep it SMPL: Automatic Estimation of 3D Human Pose and Shape from a Single Image

基本信息

1. 时间：2016

2. 会议/期刊：ECCV

3. 论文网址：https://arxiv.org/pdf/1607.08128

4. 一作单位：Max Planck Institute for Intelligent Systems

文章内容

1. 关键词：3D身体形状，人体姿态，卷积神经网络

2. 文章类型：算法/基于优化的方法

3. 硬件/算法类型：SMPL/HMR

4. 核心思想：

   1. 从单张图像中恢复出3D pose和shape。基于DeepCut，bottom-up方法预测出二维关键点坐，基于SMPL top-down 方法和二维关键点匹配

   2. 最小化目标函数，惩罚3D关键点投影和2D关键点坐标，达到了SOTA水平

5. 贡献点：

   1. 提出了第一种从单个图像预测3D shape和pose的自动方法

   2. 提出了损失函数中的穿透项

   3. 提出了将3D关键点和2D关键点匹配的新的目标函数

6. 问题背景：

   1. 从图像中预测3D的shape和pose具有挑战性，因为人体、关节、遮挡、服装、照明的复杂性，以及从2D推断3D的固有模糊性。

   2. 之前的方法使用的人体模型比较弱，此方法选择SMPL

   3. 没有其他方法只通过2D关键点预测3D的pose和shape；没有其他方法automatic

   4. 许多方法选择了利用先验知识

7. 工作概述：

   1. 使用DeepCut CNN预测2D关键点坐标和置信度。3D身体模型SMPL匹配二维关键点。训练了一个新的性别模糊的模型。用20个胶囊的方式近似身体 计算穿模，训练了一个回归器来从SMPL的shape参数得到胶囊参数（轴长度和半径），然后根据运动链的旋转来调整胶囊的姿态。

   2. 损失函数

      

      • 总的损失函数：

        

      • joint损失项

        

        ${\mathrm{\Pi }}_k$ 将3D关键点投影成2D，$w_i$是二维关键点预测网络输出的置信度，用来对每个joint加权，对于遮挡的关键点，权值较低。$\rho$是German-McClure惩罚函数

      • 关节反弯惩罚项

        

      𝑖 表示与肘部和膝盖弯曲有关的pose参数。使用指数函数会严重惩罚违反自然约束的旋转。当关节不弯曲时， ${\theta }_i$为0。负弯曲是正常的，不会受到过分的惩罚，而正弯曲是不自然的（正弯曲就是关节反弯），会受到更多的惩罚。

      • Pose先验惩罚项

      

      SMPLify使用CMU数据集来训练pose先验。用MoSh算法从CMU的marker数据上得到对应的SMPL参数，然后得到大约100万个姿态的高斯分布。$g_j$为高斯分布的权重，c为求解所需的预设参数。为了计算效率，损失函数做了一些近似，由于求和的操作难以计算，改为仅用其中最大的分布进行近似。

      • 互穿惩罚项

      

      SMPLify利用胶囊近似定义了互穿惩罚项，为了简化计算，进一步将胶囊简化为中心在 $C(\theta ,\beta )$，半径为 $r(\beta )$的球体， $\sigma (\beta )=\frac{r(\beta )}{3}$。 $I(i)$是与i正常情况下不相交的球体。此公式比较了两个球体的圆心距离和半径和，比较这两者的大小可以获得两个球体的位关系，从而达到惩罚不同部位之间穿透的作用。

      (少了一个负号？)

      • shape惩罚项

        

        $\sum _{\beta }^{-1}$是一个对角矩阵，通过主成分分析从SMPL训练集中的形状中估计出奇异值的平方。

        形状系数 $\beta$ 的构造使其均值为零，从而确保模型在生成形状时不偏离主要形状模式。

   3. 优化

      1. 作者假设相机偏移和身体的朝向是未知的，然而需要得到相机的焦距或者它的粗略估计。SMPLify假设人站着平行于图像平面来初始化相机偏移，通过相似三角形的比例来估计深度，该比率由平均SMPL形状的躯干长度和预测的2D关节确定。由于这个假设并不总是成立，作者通过最小化那些与相机偏移和身体朝向有关的躯体关节的 $E_j$进一步优化估计。在这个优化中，保持 𝛽 为平均值。

      2. 从 ${\lambda }_{\theta }$和 ${\lambda }_{\beta }$的较高值开始，在随后的优化阶段逐渐减小它们，可以有效地避免局部最小值

      3. 当拍摄对象从侧面拍摄时，评估身体朝向哪个方向可能是不明确的。为了解决这一问题，当CNN估计的2D肩部关节之间的2D距离低于阈值时，尝试两种初始化方法：首先，按上面所说的估计身体方向，然后，该方向旋转180度。从中选择 $E_j$最小的拟合。

      4. SMPL使用Powell's dogleg method算法来最小化损失函数。

8. 实验结果

   在HumanEva-I和Human3.6M定量评估，在LSP数据集上定性评估，使用合成数据定量评估

   • 合成数据的定量评估：从SMPL形状和姿势空间中采样合成体，并使用已知相机将其关节投影到图像中。生成1000张男性形状的图像，1000张女性形状的图像，分辨率为640 × 480。

     

   左图：当高斯噪声添加到 2D 关节时，标准姿势中估计形状与真实形状之间的平均顶点到顶点欧几里得误差。虚线和点线分别表示通过猜测男性和女性的平均形状而获得的误差。右图：在拟合过程中仅考虑关节子集时估计形状与真实形状之间的误差。

   • 真实数据的定量评估：在HumanEva-I和Human3.6M数据集上的关节点距离达到了SOTA水平，消融实验证明目标函数的每一项均有效。

   

   互穿惩罚项能很好地减少穿模现象

   • LSP数据集上定性评估

   

9. 优点：根据单幅图像中的 2D 关节估计 3D 的shape和pose，目标函数的五项设置的非常巧妙

10. 缺点：互穿惩罚项的符号是否正确...?