【机器学习与深度学习理论要点】23. 什么是学习率，作用是什么，学习率导致的问题？什么是反向传播及反向传播算法

1）什么是学习率，作用是什么？

在梯度下降法中，都是给定统一的学习率，整个优化过程中都以确定的步长进行更新，在迭代优化的前期中，学习率较大，则前进的步长就会较长，这时便能以较快的速度进行梯度下降，而在迭代优化后期，逐步减小学习率的值，减小步长，这样有助于算法的收敛，更容易接近最优解

2）学习率过大或过小会导致什么问题

学习率过大可能导致模型无法收敛，过小导致收敛速度过慢

3）什么是反向传播算法，为什么要使用反向传播算法

• 定义：反向传播是在深度神将网络中，根据输出层输出值，来反向调整影藏层权重的一种方法

• 对于多个影藏层的神将网络，输出层可以直接求出误差来更新参数，但影藏层的误差是不存在的，因此不能对它直接应用梯度下降，而是先将误差反向传播至影藏层，然后再应用梯度下降