第四周 学习进度汇报

第四周

本周学习进度汇报：

1. 实践学习 使用Vision Transformer实现CIFAR-10；

2. 理论学习 迁移学习；

3. 论文学习 收集相关论文并大致浏览（国内）；

4. 待完成笔记 基于Transformer模型的人体3D姿态比对算法研究；
5. 待优化代码 VIT实现CIFAR10分类；
6. DensePose配置环境完成大约10%

本周学习总结：

　　本周重点任务为基于VIT实现CIFAR10分类。通过前面的学习，对于VIT理论以及编码实现有了一定的基础，现解决该问题。因为理论以及编码能力较差，所以这次基于前面的学习独立完成这个问题。模型代码，调整了几版参数之后，在验证集上获得的最好结果是55-60。虽然最后的结果不友好，但是在这个过程中，对如何使模型精度提高有了大致了解。模型出现欠拟合以及过拟合该如何处理（在期初模型在训练集准确率能达到80以上，在验证集中只能达到50）。在之后更改了Vit的深度，训练了200个EPOCH后，验证集的准确率能够将近60。之后修改一些参数后以及再增加一层CNN后，效果依旧不好。便基于迁移学习，训练30epoch后，验证集的准确率达到60以上。如果继续训练，效果还会上升。

为了建立大致概念，在知网收集了几篇中文与之相关的研究生毕业论文。粗略浏览了几篇论文，对方向有了一个比较清晰的认识，对工作内容也有了一定的方向，同时对此也有强烈的兴趣。粗略笔记。

DensePose论文阅读，笔记。

下周学习安排：

1. DensePose代码运行

2. 论文学习