20：减弱过拟合

1：减弱过拟合reduce overfitting

 

 (1)regularization

(1.1)Regularization函数

 

 [注]λ为超参数（需要自己设置）迫使参数的一或者二范数逼近于0，。

decay衰减

(1.2)regularization的分类

 

 

【注】pytorch中内嵌了L2-regularization的实现。只需要设置参数weight_decay就可将参数的二范数逼近于0。

 

 

 [注]pytorch中目前没有对L1-regularization的支持，故只能手动实现。

(2)dropout:通过参数p来控制输出-输入断掉的概率

 

 

 

 

 

 [注]Dropout断掉的是前一层的输出需要断掉多少概率的out来作为下一层的输入。

 

 【注】tensorflow和pytorch的区别是，pytorch中的参数p是断掉的概率，tensorflow中是保持的概率。

 

 【注】在进行val-set数据集的test时，需要把网络切换到eval()，防止输入被drop掉。否则在进行test-set数据集的test时，约定test没有drop，所以会出现效果差的现象。