Toriyung

摘要： 神经网络的传播(前向)过程如图，如果ω>1（即使是稍微大一点点），只要层数足够多最后会造成ω呈指数上升，这就是梯度爆炸；同理，当ω<1（即使是稍微小一点点），ω会快速缩小逼近0，这就是梯度消失 目前能稍微解决的方法是对ω进行合理地初始化 对于若干层数且每层的神经元数量不尽相同的情况下，比较好的取向是 阅读全文

摘要： 图表为损失函数的等高线图 当数据未进行归一化时：不同权重参数的比例十分之大，不同点的梯度下降的过程精确度不尽相同，所以必须减小学习步长，因此学习时长变长 当数据归一化时：权重参数的比例相近，不同点的梯度下降精确度近似，所以可以放心加大学习步长，进而减小 阅读全文