xxxxxxx
小技巧
drop out
基本原理
drop out是训练神经网络的一种技巧，最先在Alexnet中使用。其具体操作为：在神经网络的训练阶段，以一定的概率让隐层神经元无效，即输出为0。下一轮迭代中，重复上述操作。
从结果上看，其达到了正则的效果，
- 减少了网络的参数，使得网络更好训练
- 相当于同时训练了一些小的网络，最终的输出是这些网络的ensemble
训练
具体实现层面：以一定概率让隐层神经元失去效果，即让神经元的输出为0, 等价于以一定概率让这些神经元的输入为0。
推理
推理阶段不能使用drop out，假设在训练阶段使用drop out的隐层
使用注意/缺点
drop out 不能使用于 回归问题。原因：知乎。
https://www.cnblogs.com/zingp/p/11631913.html
drop out 具体操作：以一定概率让隐层神经元无效，输出为0
具体操作：以一定概率将权重或者输入x设置为0
1. 对输入x进行增加正则，期望不变
2.exsemblle
我自己的观点：相当于正则
2. 减少了网络的参数。使得网络更好训练
3. 相当于同时训练了一些小的网络进行esemble
实现：
1.手动实现
2.pytorch调用函数实现
https://www.cnblogs.com/lfri/p/step_train.html
https://www.cnblogs.com/Jcloud/p/17140070.html
