局部最优解的问题

我们一般认为神经网络会有局部最优解

就像三维中的坑洞一样，可能使我们的神经网络陷进去就出不来了

其实不是这样的

 

可以看到，我门的loss其实是一个多维的神经网络

那么对于第i维，我可以大致的认为在这一维，他上升或下降的概率均为0.5

我们知道，如果要形成坑洞的话，我们在这个区域上的所有点的梯度都必须是像下的才行

那这种概率，可以去买彩票了

 

所以，如果训练变慢，大概率是碰到了鞍点

这个时候，没事，多训练几次就行了

 

但是，千万，千万不要加大learning_rate

我也不知道为什么，但是加大learning_rate之后，acc会迅速下降至初值(比如如果是二元分类的话就是50%)

然后重新开始训练