Mediapipe Hand笔记

《MediaPipe: A Framework for Building Perception Pipelines》

ML pipeline
所谓pipeline就是把一件事分为多个工序，有的工序可以并行执行，提升效率。

《MediaPipe Hands: On-device Real-time Hand Tracking》

检测步骤

分为两个步骤（2阶段）：

• 1先检测手掌
  使用的是野外数据集训练的
• 2根据手掌图绘制手部关键点

返回结果

返回结果：
1.21 hand landmarks consisting of x, y, and relative depth.
21个手部关键点，包含x,y,depth（离摄像头的距离）
2. A hand flag indicating the probability of hand presence in the input image.
一个标志数代表图片中是否出现了手
3. A binary classification of handedness, e.g. left or right hand.
一个数字代表检测到的是左手还是右手

数据集

• 野外
  6K
• 室内
  10K
  包含有几乎所有的手势
• 合成的

关键点检测

• 基于回归
• 基于热力图（精度高、但比回归慢）：高斯概率、期望

自顶向下：先找物体，再画点
自底向上：先找点，再聚类
关键点检测的任务只要人能看出来，能标出来，就有效。