【机器学习与深度学习理论要点】23. 什么是学习率，作用是什么，学习率导致的问题？什么是反向传播及反向传播算法

目录

1）什么是学习率，作用是什么？

在梯度下降法中，都是给定统一的学习率，整个优化过程中都以确定的步长进行更新，在迭代优化的前期中，学习率较大，则前进的步长就会较长，这时便能以较快的速度进行梯度下降，而在迭代优化后期，逐步减小学习率的值，减小步长，这样有助于算法的收敛，更容易接近最优解

2）学习率过大或过小会导致什么问题

学习率过大可能导致模型无法收敛，过小导致收敛速度过慢

3）什么是反向传播算法，为什么要使用反向传播算法

• 定义：反向传播是在深度神将网络中，根据输出层输出值，来反向调整影藏层权重的一种方法

• 对于多个影藏层的神将网络，输出层可以直接求出误差来更新参数，但影藏层的误差是不存在的，因此不能对它直接应用梯度下降，而是先将误差反向传播至影藏层，然后再应用梯度下降

作者：野哥李
微信公众号：AI算法学习社
欢迎任何形式的转载，但请务必注明出处。
限于本人水平，如果文章和代码有表述不当之处，还请不吝赐教。
本文章不做任何商业用途，仅作为自学所用，文章后面会有参考链接，我可能会复制原作者的话，如果介意，我会修改或者删除。