权重衰减和学习率衰减的区别
权重衰减（weight decay）：又叫L2正则化，意思是在损失函数后加一个L2正则项，反向求导时会发现此时权重的更新公式将会变化，一般权重会下降的更快，而应用了该方法的网络，最终某些权重会变成零，相当于在这个神经元上会被抛弃，即神经网络中某些权重归零，表示模型的复杂度下降了，多了一个零，少了一个参数。
学习率衰减（learning rate decay）就是调小学习率，对应于权重更新时梯度前的那个参数
两种参数都属于炼丹的参数
权重衰减（weight decay）：又叫L2正则化，意思是在损失函数后加一个L2正则项，反向求导时会发现此时权重的更新公式将会变化，一般权重会下降的更快，而应用了该方法的网络，最终某些权重会变成零，相当于在这个神经元上会被抛弃，即神经网络中某些权重归零，表示模型的复杂度下降了，多了一个零，少了一个参数。
学习率衰减（learning rate decay）就是调小学习率，对应于权重更新时梯度前的那个参数
两种参数都属于炼丹的参数
【推荐】国内首个AI IDE，深度理解中文开发场景，立即下载体验Trae
【推荐】编程新体验，更懂你的AI，立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包，你的智能百科全书，全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell：AI 加持，快人一步
· 分享一个免费、快速、无限量使用的满血 DeepSeek R1 模型，支持深度思考和联网搜索！
· 使用C#创建一个MCP客户端
· 基于 Docker 搭建 FRP 内网穿透开源项目（很简单哒）
· ollama系列1：轻松3步本地部署deepseek，普通电脑可用
· 按钮权限的设计及实现