权值衰减（weight decay）

神经网络经常加入weight decay来防止过拟合，optimizer使用SGD时我们所说的weight decay通常指L2 weight decay，即，加在loss中的L2正则项。

L2正则项在Michael Nielsen的Neural Networks and Deep Learning的第三章第2节有比较详细的介绍，下面就直接从书里截图过来：

 

posted @   Picassooo  阅读(525)  评论(0)  编辑  收藏  举报
相关博文：
· transformer（ViT）查看权重、梯度和梯度函数
· Boosting, Bootstrap, Adaboost, GBDT, XGBoost, 随机森林
· 权重衰减 - Weight Decay
· 权重衰减和学习率衰减的区别
· [深度学习]L2正则化和权重衰退(Weight Decay)
阅读排行：
· Manus爆火，是硬核还是营销？
· 终于写完轮子一部分：tcp代理 了，记录一下
· 震惊！C++程序真的从main开始吗？99%的程序员都答错了
· 别再用vector＜bool＞了！Google高级工程师：这可能是STL最大的设计失误
· 单元测试从入门到精通
历史上的今天：
2021-05-11 转：Zero-shot Learning / One-shot Learning / Few-shot Learning
2020-05-11 论文笔记：Multiview Subspace Clustering via Tensorial t-Product Representation
2020-05-11 不定长数目参数，*args, **kwargs
点击右上角即可分享
微信分享提示