12 2022 档案

pytorch 优化器、学习率更新器
摘要：一、 二、学习率更新 1、官方函数 1）milestones：lr改变时的epoch数目 2）gamma：学习率调整倍数，默认为0.1,即下降10倍 3）last_epoch：别人解释是已经运行的epoch数量！所以下一次更新lr的时候是milestones中值减去last_epoch torch. 阅读全文
posted @ 2022-12-20 22:50 kuaqi 阅读(175) 评论(0) 推荐(0) 编辑
激活函数
摘要：一、激活函数：链接1 1、激活函数是向神经网络中引入非线性因素，通过激活函数神经网络就可以拟合各种曲线。激活函数主要分为饱和激活函数（Saturated Neurons）和非饱和函数（One-sided Saturations）。Sigmoid和Tanh是饱和激活函数，而ReLU以及其变种为非饱和激 阅读全文
posted @ 2022-12-10 00:10 kuaqi 阅读(90) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示