AdamW优化
由于AdamW是Adam+L2正则化的改进,所以这里再详细总结一下正则化方法
正则化:所有防止过拟合,提升模型泛化能力的方法(包括常见的L1,L2,dropout等,可能还有许多更为广义上的正则化措施)
L1,L2正则化:利用L1,L2番薯规范网络参数w的方法,注意这里只说了w没有说b(y=wx+b),因为w决定曲线形状,b偏置项仅决定位置,正则化b意义不大
范数:空间中两个点距离的定义
例如L2范数就是我们常说的欧氏距离,高维向量的L2范数即使用勾股定理的公式计算该点到坐标原点的距离
L1范数:
当然范数这个概念是很大的
但是只有当P大于等于1时,构成的集合才是凸集,凸函数对应的就是凸优化问题,凸优化是更为简单的问题
我们使用的L1,L2某种程度上就是在使用凸集特性
我们知道,训练神经网络的过程即找到一组参数,使得损失函数达到最小。但这一组最优参数并不是唯一的,如果某一层或某几层的参数扩大几倍,可以通过缩小其他层的参数来达到与之前损失函数相同的效果。所以这个参数究竟优化到一个什么值上,与其初始化有很大关系