Typesetting math: 100%

(原)模型的参数初始化

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

转载请注明出处:

http://www.cnblogs.com/darkknightzh/p/8297793.html

参考网址:

http://pytorch.org/docs/0.3.0/nn.html?highlight=kaiming#torch.nn.init.kaiming_normal

https://github.com/prlz77/ResNeXt.pytorch/blob/master/models/model.py

https://github.com/facebookresearch/ResNeXt/blob/master/models/resnext.lua

https://github.com/bamos/densenet.pytorch/blob/master/densenet.py

https://github.com/szagoruyko/wide-residual-networks/blob/master/models/utils.lua

说明:暂时就这么多吧,错误之处请见谅。前两个初始化的方法见pytorch官方文档

1. xavier初始化

torch.nn.init.xavier_uniform(tensor, gain=1)

对于输入的tensor或者变量,通过论文Understanding the difficulty of training deep feedforward neural networks” - Glorot, X. & Bengio, Y. (2010)的方法初始化数据。初始化服从均匀分布U(a,a),其中a=gain×2/(fan_in+fan_out)×3,该初始化方法也称Glorot initialisation。

参数:

      tensor:n维的 torch.Tensor 或者 autograd.Variable类型的数据

      a:可选择的缩放参数

例如:

w = torch.Tensor(3, 5)
nn.init.xavier_uniform(w, gain=nn.init.calculate_gain('relu'))

torch.nn.init.xavier_normal(tensor, gain=1)

对于输入的tensor或者变量,通过论文Understanding the difficulty of training deep feedforward neural networks” - Glorot, X. & Bengio, Y. (2010)的方法初始化数据。初始化服从高斯分布N(0,std),其中std=gain×2/(fan_in+fan_out),该初始化方法也称Glorot initialisation。

参数:

      tensor:n维的 torch.Tensor 或者 autograd.Variable类型的数据

      a:可选择的缩放参数

例如:

w = torch.Tensor(3, 5)
nn.init.xavier_normal(w)

2. kaiming初始化

torch.nn.init.kaiming_uniform(tensor, a=0, mode='fan_in')

对于输入的tensor或者变量,通过论文“Delving deep into rectifiers: Surpassing human-level performance on ImageNet classification” - He, K. et al. (2015)的方法初始化数据。初始化服从均匀分布U(bound,bound),其中bound=2/((1+a2)×fan_in)×3,该初始化方法也称He initialisation。

参数:

      tensor:n维的 torch.Tensor 或者 autograd.Variable类型的数据

      a:该层后面一层的激活函数中负的斜率(默认为ReLU,此时a=0)

      mode:‘fan_in’ (default) 或者 ‘fan_out’. 使用fan_in保持weights的方差在前向传播中不变;使用fan_out保持weights的方差在反向传播中不变。

例如:

w = torch.Tensor(3, 5)
nn.init.kaiming_uniform(w, mode='fan_in')

torch.nn.init.kaiming_normal(tensor, a=0, mode='fan_in')

对于输入的tensor或者变量,通过论文“Delving deep into rectifiers: Surpassing human-level performance on ImageNet classification” - He, K. et al. (2015)的方法初始化数据。初始化服从高斯分布N(0,std),其中std=2/((1+a2)×fan_in),该初始化方法也称He initialisation。

参数:

      tensor:n维的 torch.Tensor 或者 autograd.Variable类型的数据

      a:该层后面一层的激活函数中负的斜率(默认为ReLU,此时a=0)

      mode:‘fan_in’ (default) 或者 ‘fan_out’. 使用fan_in保持weights的方差在前向传播中不变;使用fan_out保持weights的方差在反向传播中不变。

例如:

w = torch.Tensor(3, 5)
nn.init.kaiming_normal(w, mode='fan_out')

使用的例子(具体参见原始网址):

https://github.com/prlz77/ResNeXt.pytorch/blob/master/models/model.py

复制代码
from torch.nn import init
self.classifier = nn.Linear(self.stages[3], nlabels)
init.kaiming_normal(self.classifier.weight)
for key in self.state_dict():
    if key.split('.')[-1] == 'weight':
        if 'conv' in key:
            init.kaiming_normal(self.state_dict()[key], mode='fan_out')
        if 'bn' in key:
            self.state_dict()[key][...] = 1
    elif key.split('.')[-1] == 'bias':
        self.state_dict()[key][...] = 0
复制代码

3. 实际使用中看到的初始化

3.1 ResNeXt,densenet中初始化

https://github.com/facebookresearch/ResNeXt/blob/master/models/resnext.lua

https://github.com/bamos/densenet.pytorch/blob/master/densenet.py

conv

n = kW* kH*nOutputPlane
weight:normal(0,math.sqrt(2/n))
bias:zero()

batchnorm

weight:fill(1)
bias:zero()

linear

bias:zero()

3.2 wide-residual-networks中初始化(MSRinit

https://github.com/szagoruyko/wide-residual-networks/blob/master/models/utils.lua

conv

n = kW* kH*nInputPlane
weight:normal(0,math.sqrt(2/n))
bias:zero()

linear

bias:zero()

 

posted on   darkknightzh  阅读(10582)  评论(0编辑  收藏  举报

编辑推荐:
· AI与.NET技术实操系列:基于图像分类模型对图像进行分类
· go语言实现终端里的倒计时
· 如何编写易于单元测试的代码
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
阅读排行:
· 25岁的心里话
· 闲置电脑爆改个人服务器(超详细) #公网映射 #Vmware虚拟网络编辑器
· 基于 Docker 搭建 FRP 内网穿透开源项目(很简单哒)
· 零经验选手,Compose 一天开发一款小游戏!
· 一起来玩mcp_server_sqlite,让AI帮你做增删改查!!

导航

< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示