神经网络训练收敛的解决办法
不能得出结论是局部极小的情况下:
第一种方案: 修改网络结构或loss function
第二个是,多次随机初始化,看看网络输出情况,如果多次随机初始化收敛到同一个极小值,那有可能网络overfitting了,这个时候,在网络里加入dropout,可以试试rate 0.1的dropout
另外,learning rate decay这个参数也很重要,多调调
不能得出结论是局部极小的情况下:
第一种方案: 修改网络结构或loss function
第二个是,多次随机初始化,看看网络输出情况,如果多次随机初始化收敛到同一个极小值,那有可能网络overfitting了,这个时候,在网络里加入dropout,可以试试rate 0.1的dropout
另外,learning rate decay这个参数也很重要,多调调