防止过拟合的方法

解决过拟合有两个方向：

减少特征，人为选择简单模型；

保留所有特征，但是减少每个特征的权重；

1、simpler model structure

2、regularization

正则化，解决过拟合的一种方法。

http://www.cnblogs.com/jianxinzhou/p/4083921.html

3、data augmentation
4、dropout

在每个mini-batch中，按概率删掉一部分神经元，删掉的这部分神经元的输出就设为0。反向传播时，就不更新这些神经元的参数。

在下一个mini-batch中，恢复这些删掉的神经元，再选一批神经元删掉。
5、Bootstrap/Bagging
6、ensemble

训练多个模型，然后组合这多个模型。但不仅训练起来费时，测试起来多个模型也很费时
7、early stopping
8、utilize invariance
9、Bayesian