分类任务常用的一些tricks

https://mp.weixin.qq.com/s/ujr8XubG9jpvM-zOGcZxRw

针对图像分类任务，提升准确率的方法路线有两条，一个是模型的修改，另一个是各种数据处理和训练的技巧(tricks)。图像分类中的各种技巧对于目标检测、图像分割等任务也有很好的作用，

因此值得好好总结。本文在精读论文的基础上，总结了图像分类任务的各种tricks如下：

1.warmup,一开始学习率调小一点，然后慢慢增大，18年Facebook又针对上面的warmup进行了改进[3]，因为从一个很小的学习率一下变为比较大的学习率可能会导致训练误差突然增大。论文[3]提出了gradual warmup来解决这个问题，即从最开始的小学习率开始，每个iteration增大一点，直到最初设置的比较大的学习率。

2.Random image cropping and patching