基于人体姿态估计的AI健身系统

近日，XDU-ISC CLeaNS (Computing and Learning of Neural System) Group围绕机器视觉、AI创作、智能对话等问题在现实场景中的应用开展多项AI落地产品开发，推出“基于人体姿态估计的AI健身系统”，“基于Seq2seq模型实现的聊天机器人”，“基于StyleCLIP模型实现的智能图片编辑”，“基于AdaIN模型的图像风格迁移系统”4项智能应用产品Beta v0.1版本项目供广泛评测和落地使用。本次推出的项目产品均可在俱乐部官网 西电浪潮俱乐部 XDU-Inspur 获得访问或下载，所有代码均已开源。

从一开始“躺着为国做贡献”，到全民上马的健身运动，居家锻炼已经成为“宅家胖十斤”的最佳解决方案。 我们基于人体姿态估计技术，开发出了一款能够实时追踪人体并进行动作识别的健身计数应用，我们将在下文介绍产品的开发细节。

项目A 基于人体姿态估计的AI健身系统

项目完成人: Yu-Kun Zhou 联系方式: ykzhou@stu.xidian.edu.cn
开源、访问链接: https://github.com/1zeryu/Human-body-key-point-detection

项目背景和项目特点

计算机视觉技术的发展改变了人们的生活，将视觉理解技术应用于生活才能真正体现其价值。我们基于人体姿态估计的视觉技术，开发了能够辅助仰卧起坐、俯卧撑、深蹲等运动计数的应用产品。该产品适合在进行相关健身动作时使用，能够实时、高效地计算人体运动的个数。在功能选择上，该产品还支持其他计算机视觉技术的应用。

使用说明

本产品的功能包含：健身计数、目标检测、人脸关键点检测、图像分类、人像抠图和文字检测。

本应用的软件适用于安卓端，可以在链接直接下载相应的apk文件。点击开始后有相应的使用方法提示，支持选择动态模式（开启摄像头实时处理每帧图片）或静态模式（选择照片后进行处理）。该产品同时支持在设置界面上选择用户喜欢的使用模式，以及在应用选择栏选择用户需要的计算机视觉功能。

（基于什么、模型框架、实验设置和实验分析等）

本项目基于人体关键点检测（人体姿态估计）技术开发应用程序。本产品使用开源工具Mediapipe训练完善的BlazePose模型[1]进行实时人体姿态估计。对于提取到的关键点，项目使用\(k\)-NN算法进行姿态理解分类。该产品在项目部署前进行了人体关键点检测性能测试，以及人体姿态分类精度测试。在技术参数方面，该程序支持18fps的处理速度，其中BlazePose算法模块支持23fps的检测速度，算法检测精度达到77.6PCK@0.2。项目部署测试结果表明：该安卓应用能够在Pixal 2机型手机中稳定运行，实时高效使用。

项目展望

改进安卓软件UI界面，将人体姿态估计用于别的应用，例如游戏设计方面；提高人体姿态估计模型的性能，换用更好的人体姿态分类模型。

参考文献

[1]:Bazarevsky, Valentin, et al. "Blazepose: On-device real-time body pose tracking." arXiv preprint arXiv:2006.10204 (2020).
[2]: Pose Detection | ML Kit | Google Developers
[3]: MediaPipe

结语

本次推出的4项产品获得华为创新俱乐部提供的算力支持，对此表示衷心感谢。浪潮俱乐部AI组将继续围绕产品研发、算法研究和智能算法生态建设等方面与微软、华为、腾讯等俱乐部开展深入合作。俱乐部CLeaNS Group也将通过与其他俱乐部共建实验室、开放技术分享、合作研发产品等途径，着力打造西电高水平人工智能本科生团队。