姿态估计入门

定义

三维人体姿态估计是指从照片或者照片序列中恢复出人体若干个关节点（关键点）的三维坐标的问题。

应用

在计算机视觉领域，人体姿态估计在许多以人物为中心的任务（例如人物检测、跟踪以及动作识别等）中扮演着十分关键的角色。

难点

人体姿态的高自由度、人物外表服饰等的多样性、相机视角的变化以及图像背景的多样性等等。在特定情况下，其中某些难点可以用专门设备解决，例如深度相机、带反射标记的动作跟踪系统。然而这些技术需要使用昂贵而专用的硬件设备，极大地限制了这些系统的应用范围。

方法

Top-down方法

1. 检测得到所有人的框
2. 对每一个框进行姿态估计输出结果
   缺点：依赖目标检测的效果、重叠效果差、时间复杂度高（人越多效率越低）

Bottom-up

1. 首先得到所有关键点的位置
2. 图中多个人，一个人的关键点拼在一起

热度图

通过热度图（高斯）得到每一个关键点的预测结果

PAF

Part Affinity Fields
找到关节点之间当前最适合的拼接方向
每个相邻两个点的方向沿着x、y、z轴的方向

二分匹配

每个点与其他一个点匹配，不是与多个点匹配，可用匈牙利算法

CPM模型

Convolutional Pose Machine

OpenPose

相关论文