Toriyung

摘要： int a = 0; goto FLAG; //FLAG可以是任意名称 a = 1; FLAG: cout << a << endl; 以上代码的结果就是输出a=0 goto语句将跳转到goto后面的标志位，标志位下写入执行程序。 看着跟汇编有点像 阅读全文

摘要： 比较简单的道理： 当刚开始进行训练/进行梯度下降时，距离0梯度还有很长一段过程，所以此时可以大胆地提高训练步长，即保持高学习率 而当梯度下降到一定程度，差不多在0梯度或目标梯度附近变动时，此时若保持高学习率，会造成无法收敛(如图蓝色曲线)，所以需要降低学习率，以小步长进行梯度下降 常见的学习率衰减方 阅读全文

摘要： Adam算法其实就是结合了动量梯度下降法和RMSprop算法，是最广为使用的算法，在大多数情况下都有效果。 动量梯度算法和RMSprop算法的复习： 动量：https://www.cnblogs.com/toriyung/p/16467289.html RMS：https://www.cnblogs 阅读全文

摘要： 最终目的仍是减少振荡方向(b)的更新幅度，提高前进方向(ω)的更新幅度 引入Sdω和Sdb，如公式表达，由于dω<db，求其均方根作为分母，实现ω的更新幅度大，而b的更新幅度小 注意 1. 使用中为了避免出现√Sdω=0导致除数为0的情况出现，应令√(Sdω+ε) （吴恩达视频中建议ε=1e-8） 阅读全文

摘要： 背景 对于标准梯度下降过程，wt的更新是wt=wt-1+△w，而wt=wt-1-△w仅仅是对于当前点wt的△w，没有对于历史数据的考量（通俗点说叫经验教训） 结果就是下降（优化）过程前进方向速度缓慢，同时产生振荡（如图红线） 据此引入冲量v，令vt=vt-1-△w，由迭代思想知冲量v代表着从初始到当 阅读全文