SWATS算法剖析（自动切换adam与sgd）
SWATS算法剖析（自动切换adam与sgd）
SWATS是ICLR在2018的高分论文，提出的一种自动由Adam切换为SGD而实现更好的泛化性能的方法。
论文名为Improving Generalization Performance by Switching from Adam to SGD，下载地址为：https://arxiv.org/abs/1712.07628。
作者指出，基于历史梯度平方的滑动平均值的如adam等算法并不能收敛到最优解，因此在泛化误差上可能要比SGD等方法差，因此提出了一种转换机制，试图让算法自动在经过一定轮次的adam学习后，转而由SGD去执行接下来的操作。
算法本身思想很简单，就是采用adam这种无需操心learning rate的方法，在开始阶段进行梯度下降，但是在学习到一定阶段后，由SGD接管。这里前面的部分与常规的adam实现区别不大，重要的是在切换到sgd后，这个更新的learning rate如何计算。 整个算法步骤流程如下：
熟悉adam的应该能熟悉蓝色的部分，这个就是adam的原生实现过程。
作者比较trick的地方就是14行到24行这一部分。这一部分作者做了部分推导，作为最后的切换learning rate。
算法的整个实现逻辑并不复杂，这里列出自己实现时遇到的一些问题。
填坑 & 问题
- 在上面的算法流程第12行，有个
，这个在整个流程中未介绍如何实现，本人阅读论文后，发现应该是学习率衰减的设计。一如很多深度学习策略一样，这里可以设置经过若干轮迭代后，学习率降为原来的1/N。在论文中，作者使用了在150轮后，将学习速率减少10倍。即
。
- 上面说了
和
本身都与
|本身也会更接近
。其有些类似正比关系，因此一般都是在经过一定轮次的衰减后，才能触发SGD切换时机。这一点目前本人实现验证是这样，未深入推理。
- 这个
- 还有和大坑是
作为学习率，在切换到SGD后应一直不变，该值为标量，因此应该如常用eta等学习率一样，为正值，因此需要在17行加个约束，即
。（该场景难以复现，之前有次更新发现不设置为正值时，导致切换sgd后准确度大减）
总结
通过若干的对比，该论文变相增加了一些超参数，所以实际使用有待商榷。自己的数据集上经常就在还未满足切换条件就已经收敛了。 目前已做了相应的实现，放在scalaML中，位置为https://github.com/sloth2012/scalaML/blob/master/src/main/scala/com/lx/algos/ml/optim/GradientDescent/SWATS.scala，使用见https://github.com/sloth2012/scalaML/blob/master/src/test/scala/com/lx/algos/ml/GradientDescentTest.scala。最后想要查看切换过程的话，建议将early_stop设置为false，然后将学习率衰减系数设置低一点。 代码目前仅支持二分类。
