3D Human Pose Estimation with 2D Marginal Heatmaps

3D Human Pose Estimation with 2D Marginal Heatmaps

一. 论文简介

主要做的贡献如下（可能之前有人已提出）：

1. 使用2Dheatmap代替3Dheatmap
2. 排列 \(x,y,z\) 的读取顺序
3. 使用JSLoss规范heatmap的分布

二. 模块详解

2.1 2Dheatmap替代3Dheatmap

刚开始读论文的时候感觉作者想象力提丰富的，后面自己开发姿态估计小网络，压缩模型立马就想到此方法了（实测效果并不理想，可能是小网络的关系，按作者描述大网络效果好）

正常3DHeatmap操作大家都懂不懂的点击，这样做精度是很好，但是所花费的计算量非常庞大。

作者使用3个二维heatmap去替代一个3DHeatmap，按理说使用两张2D图即可表示3D，作者使用\([X，Y]\) 直接计算X和Y的结果， \([X，Z\)求\(Z_1\)， \([Y，Z]\)求\(Z_2\) ，\(Z=(Z_1+Z_2)/2\) 具有一定的鲁棒性。

那么为什么不相应的使用 \(X=(X_1+X_2)/2\)、\(Y=(Y_1+Y_2)/2\) ?

个人猜测如下：

• 二维本身就没有三维的Heatmap拟合能力强，强行加上那么多限制会使得模型复杂度加大，训练难收敛
• Z轴本身就很难估计，Z和XY的尺度不一样，Z的标注精度差别很大
• 这种做法降低了计算量，实际上效果要差的（对比论文给出的数据和Integral Human Pose Regression论文给出的数据）

2.2 排列 \(x,y,z\) 的读取顺序

这部分思想有问题，不论是从思想还是最终结果（Ablation Study）

首先，如果顺序真的对网络那么重要，那么我们数据增强为什么要shuffle？为什么存在shufflenetV2网络？为什么现在的Non-local结构？

其次，从结果看增加0.3%个点，这种偶然性太多了，感觉是作者凑insight

2.3 使用JSLoss规范heatmap的分布

这部分想法挺好的，随着论文读的多了，这种思想随处可见

不懂分布的点击

• 原始Heatmap就是一种单一分布（Delta分布）到学习一种分布关系（二维Gaussian分布）
• 3DHeatmap是从二维Gaussian分布转换到3D的任意分布
• 这篇论文是将3D的任意分布转换到三维Gaussian分布

---

2.4 总结

• 优点总结
  • 关于3DHeatmap转2DHeatmap，关于Z的取平均是个好想法（想必作者实际操作遇到了Z的回归难度明显大于X和Y）
  • 主要贡献还是在于分布上面，这点现在看来很正常，在之前能想到确实挺不错
• 缺点总结
  • 实际测试在小模型上2DHeatmap明显弱于3DHeatmap
  • 关于2.2的排序没有意义
  • JS散度真的好难训练
  • 先考最新检测论文，可以在分布上做改进，实际测试小模型有效果[论文