pytorch normal_(), fill_()
比如有个张量a,那么a.normal_()就表示用标准正态分布填充a,是in_place操作,如下图所示:
比如有个张量b,那么b.fill_(0)就表示用0填充b,是in_place操作,如下图所示:
这两个函数常常用在神经网络模型参数的初始化中,例如
1 2 3 4 5 6 | import torch.nn as nn net = nn.Linear( 16 , 2 ) for m in net.modules(): if isinstance (m, nn.Linear): m.weight.data.normal_(mean = 0 , std = 0.01 ) m.bias.data.fill_( 0.0 ) |
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】博客园社区专享云产品让利特惠,阿里云新客6.5折上折
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步