正则化

在这里插入图片描述

L-1正则化实现

PyTorch没有L-1正则化，所以用下面的方法自己实现
在这里插入图片描述

一般用L-2正则化
weight_decay 表示\(\lambda\)
在这里插入图片描述

在这里插入图片描述
moment参数设置上式中的\(\beta\),表式上一时刻梯度所占的比例0~1之间

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
Dropout在train时使用，在test时要手动关闭

在这里插入图片描述

posted on 2021-04-28 18:47 一抹烟霞阅读(280) 评论(0) 编辑收藏举报

刷新页面返回顶部