人体姿态估计

人体姿态估计

人体姿态估计（Human Pose Detection）是计算机视觉中的一个重要分支，应用范围宽广，比如在自动驾驶行业进行街景中行人的姿态检测、动作预测；在安防领域的行人再识别问题，特殊场景的特定动作监控；影视产业的电影特效等。

Openpose是卡内基梅隆大学提出的一种人体姿态检测模型，在github上有比较完整的实现Openpose on github。它是第一个基于深度学习的实时多人2D姿态估计方法，模型效果很好，鲁棒性较高，但网络较深，算法复杂度很高。Openpose提供了开源的caffe模型，在i7机器上，用caffe进行cpu前向推理测试，单帧图像耗时约3s+。而使用MLU，同样的网络推理速度可以得到很大提升，在mlu100上单帧图像推理耗时约60+ms。通过CNStream视频处理框架，可以较方便地利用寒武纪MLU和软件栈资源，进行一个完整的姿态检测App开发。本文主要介绍如何在CNStream中进行Openpose的Demo开发。

1. Demo的整体需求

Demo的目标是利用openpose模型进行人体骨骼关节点检测，针对输入视频，检测视频中每一帧中的人体骨骼关键点，匹配连接并绘制到原图后重新输出视频。

Demo开发使用18点表示的人体骨架图：

 

对应的人体关键点Map表示：

POSE_18_BODY_PARTS {

  {0,  "Nose"},

  {1,  "Neck"},

  {2,  "RShoulder"},

  {3,  "RElbow"},

  {4,  "RWrist"},

  {5,  "LShoulder"},

  {6,  "LElbow"},

  {7,  "LWrist"},

  {8,  "RHip"},

  {9,  "RKnee"},

  {10, "RAnkle"},

  {11, "LHip"},

  {12, "LKnee"},

  {13, "LAnkle"},

  {14, "REye"},

  {15, "LEye"},

  {16, "REar"},

  {17, "LEar"}};

2. 开发步骤

准备工作：

利用cambricon caffe提供的一系列工具，转换openpose提供的caffe原生模型为cambricon离线模型。

整个Demo运行过程拆解开，大致包括：

(1) 图片/视频解码

(2) 图像颜色空间转换，并针对推理进行图像数据前处理（整个操作简称前处理）

(3) 进行网络推理过程

(4) 解析网络输出，筛选检测到的关节点，匹配连接有效关节点对，在原图像绘制（整个操作简称后处理）

(5) 重新编码图像为视频

基于CNStream进行开发，可以看作组合三个功能插件搭建整条pipeline的过程：

(1) 利用DataSource插件实现图片的解码，或视频的解析解码过程，该功能插件输入为图片/视频路径，输出为NV12格式的图像数据；

(2) 推理插件，推理插件接收DataSource插件的输入后，首先进行前处理，包括图像颜色空间转换（NV12->BGR）和减均值归一化等，推理后的数据经过后处理过程后输出；

(3) 编码插件，将绘制了骨骼关键点的RGB图像序列重新编码输出为视频

CNStream中提供了满足基本需求的DataSource插件、Inference插件和Encode插件，Demo开发主要需要编写网络的前处理、后处理方法，并将所有插件通过cnstream的配置方式，连接为完整的pipeline（实际开发中可能根据自己的需求定制化开发部分插件）。

3. 最终的Demo输出效果：

针对单人姿态检测，收集了一系列交警手势信号图进行展示：

  

针对多人姿态检测，对多人舞蹈视频处理展示：

 

 

 可以看出，单人常规姿态检测可以说非常准确；在多人姿态检测绘制结果上，某些帧出现关节点对匹配错误出现的误连，但整体效果还不错。