神经网络训练收敛的解决办法
不能得出结论是局部极小的情况下：
第一种方案： 修改网络结构或loss function
第二个是，多次随机初始化，看看网络输出情况，如果多次随机初始化收敛到同一个极小值，那有可能网络overfitting了，这个时候，在网络里加入dropout，可以试试rate 0.1的dropout
另外，learning rate decay这个参数也很重要，多调调
不能得出结论是局部极小的情况下：
第一种方案： 修改网络结构或loss function
第二个是，多次随机初始化，看看网络输出情况，如果多次随机初始化收敛到同一个极小值，那有可能网络overfitting了，这个时候，在网络里加入dropout，可以试试rate 0.1的dropout
另外，learning rate decay这个参数也很重要，多调调
