深度学习_1_基础知识整理

①BP神经网络：

参考：李宏毅  slides   DNN backprop.pdf

②优化：

1. mini-batch: 小批量梯度下降

2. 设置 validuation data：调节超参数

3. activation function: Relu， leakly Relu， PRelu，maxout

4. loss function：softmax + 交叉熵代价函数 ——> 分类问题

                            二次代价函数 + 正则项 ——> 回归问题

5. normlization（输入/特征归一化）

6. 规范化：加入正则化项（L1，L2） ——> 寻找小的权重与最小化原始代价函数的折中

7. 权重初始化：W ——> 均值：0，方差：1/更号n

                         b ——> 均值：0，方差：1

8. 梯度优化：learning rate　vallina GD

                                             Adagrad 

                      动量Momentum  ，三者见 Deep More (v2).pdf

9. 增加训练数据集（旋转15 °，扭曲，清除背景噪音等）

10. early stopping (提早终止)

11. 权重衰减：w(t+1) <—— (1-tau * lambda) w(t) - tau * ▽C(w)

12. Dropout（训练阶段）:如同训练大量不同网络的平均。