[Paper Reading] One-Stage 3D Whole-Body Mesh Recovery with Component Aware Transformer

One-Stage 3D Whole-Body Mesh Recovery with Component Aware Transformer

link
时间：CVPR2023
机构：粤港澳大湾区数字经济研究院(IDEA) && 清华大学深圳国际研究生院

TL;DR

使用一个纯Transformer结构模型(名为OSX)直接预测Body/Hand/Face的参数，避免了之前各模型分开预测后融合复杂的问题。

Method

Component-aware Encoder

将初始化的Body Tokens与Vit抽取的image feature sequence整体作为input sequence，取过多层Transformer Encoder预测sequence，其中body token的成分增加regression head用来预测身体参数，其中image feature的成分 $T_f^′$ 作为全局特征输入给Component-aware Decoder。

Component-aware Decoder

将Global feature $T_f^′$ reshape回spacial维度，并Deconv出多尺度feature $T_{hr}$ ，利用 $T_f^′$ 预测出hand_box与face_box，使用ROI Align在多尺度feature上分别crop出hand与face特征。
Keypoint-guided deformable attention decoder：input query是由[reference keypoint feature, pose positional embedding, and learnable embeddings]三部分累加而成，其中reference keypoints是由 $T_f^′$ 特征预测出来的初始值。
Decoder中的cross attention是一个deformable的版本，让query提取特征图中keypoints附近的特征(我的理解是避免全局范围都要query计算量太大)。