局部最优解的问题
我们一般认为神经网络会有局部最优解
就像三维中的坑洞一样,可能使我们的神经网络陷进去就出不来了
其实不是这样的
可以看到,我门的loss其实是一个多维的神经网络
那么对于第i维,我可以大致的认为在这一维,他上升或下降的概率均为0.5
我们知道,如果要形成坑洞的话,我们在这个区域上的所有点的梯度都必须是像下的才行
那这种概率,可以去买彩票了
所以,如果训练变慢,大概率是碰到了鞍点
这个时候,没事,多训练几次就行了
但是,千万,千万不要加大learning_rate
我也不知道为什么,但是加大learning_rate之后,acc会迅速下降至初值(比如如果是二元分类的话就是50%)
然后重新开始训练