学习率、batch_size、dropout

1、学习率

1.1、学习率取值要适当

　　当学习率很低的时候，跑了多次损失还是很大，此时需要加大迭代次数，浪费计算资源。
　　当学习率很大的时候，loss可能为nan，因为求导的时候可能会除以0。

1.2、优化算法如何找到合适的学习率

方法一：

　　找一个对学习率不敏感的算法，如：Adam

方法二：

　　合理的参数初始化

方法三：

 

2、batch_size

　　batch_size越小收敛越好