03 2022 档案

摘要:在训练CNN网络的时候,常常会使用dropout来使得模型具有更好的泛化性,并防止过拟合。而dropout的实质则是以一定概率使得输入网络的数据某些维度上变为0,这样可以使得模型训练更加有效。但是我们需要注意dropout层在训练和测试的时候,模型架构是不同的。为什么会产生这种差别呢? 一、训练和测 阅读全文
posted @ 2022-03-19 11:57 Circle_Wang 阅读(23330) 评论(0) 推荐(3) 编辑
摘要:在我们平常面试和工程中会用到BN和LN,但或许没有去了解过BN和LN到底在那个维度上进行的正则化(减均值除以标准差)。下面将会采用各种例子来为大家介绍BN层和LN层各个参数以及差别。 一、BatchNorm(批标准化): BatchNorm一共有三个函数分别是BatchNorm1d,BatchNor 阅读全文
posted @ 2022-03-02 18:55 Circle_Wang 阅读(13566) 评论(0) 推荐(2) 编辑

点击右上角即可分享
微信分享提示