深度学习-偏差、方差、归一化

偏差和方差衡量的必要性，因为深度学习中，根据没免费午餐定理，降低了偏差一定增加了方差，降低了方差也增加了偏差。

高偏差：欠拟合，线性不能充分拟合，非线性才能充分拟合

高方差：过拟合，对部分点描述过度，泛化误差增大

偏差和方差一定程度对应着训练误差和验证误差。

基本误差为0的情况下，

1、训练误差降低，即降低偏差

2、1的基础上，降低方差，即验证集误差也降低，降低方差。

 

正则方法：L1、L2、dropout、提前停止、数据增强。

提前停止一般情况下不会用，因为训练误差用L2正则还有降低的可能，同时保证不会过拟合。所以一般都选L2正则。

L2正则也有一定的缺陷，因为有了lambda的超参数，需要选。

 

为什么要归一化？

归一化有两步，1、零均值  2、除以方差。 

作用：使得成本函数变得正规化，不像之前的可能特征1 从1到100000，特征2从0到1，成本函数优化的时间长短随机性太大，因为初始点定在偏特征1的点上，需要优化很长时间，初始点定在特征2，优化很短时间。

所以归一化的作用就是减少这种随机性，让所有初始点都有相同的优化步数。也可以说是降低了训练时间。