『PyTorch』第十一弹_torch.optim优化器 每层定制参数
一、简化前馈网络LeNet
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
|
import torch as t class LeNet(t.nn.Module): def __init__( self ): super (LeNet, self ).__init__() self .features = t.nn.Sequential( t.nn.Conv2d( 3 , 6 , 5 ), t.nn.ReLU(), t.nn.MaxPool2d( 2 , 2 ), t.nn.Conv2d( 6 , 16 , 5 ), t.nn.ReLU(), t.nn.MaxPool2d( 2 , 2 ) ) # 由于调整shape并不是一个class层, # 所以在涉及这种操作(非nn.Module操作)需要拆分为多个模型 self .classifiter = t.nn.Sequential( t.nn.Linear( 16 * 5 * 5 , 120 ), t.nn.ReLU(), t.nn.Linear( 120 , 84 ), t.nn.ReLU(), t.nn.Linear( 84 , 10 ) ) def forward( self , x): x = self .features(x) x = x.view( - 1 , 16 * 5 * 5 ) x = self .classifiter(x) return x net = LeNet() |
二、优化器基本使用方法
- 建立优化器实例
- 循环:
- 清空梯度
- 向前传播
- 计算Loss
- 反向传播
- 更新参数
1
2
3
4
5
6
7
8
9
10
11
|
from torch import optim # 通常的step优化过程 optimizer = optim.SGD(params = net.parameters(), lr = 1 ) optimizer.zero_grad() # net.zero_grad() input_ = t.autograd.Variable(t.randn( 1 , 3 , 32 , 32 )) output = net(input_) output.backward(output) optimizer.step() |
三、网络模块参数定制
为不同的子网络参数不同的学习率,finetune常用,使分类器学习率参数更高,学习速度更快(理论上)。
1.经由构建网络时划分好的模组进行学习率设定,
1
2
3
|
# # 直接对不同的网络模块制定不同学习率 optimizer = optim.SGD([{ 'params' : net.features.parameters()}, # 默认lr是1e-5 { 'params' : net.classifiter.parameters(), 'lr' : 1e - 2 }], lr = 1e - 5 ) |
2.以网络层对象为单位进行分组,并设定学习率
1
2
3
4
5
6
7
8
9
10
|
# # 以层为单位,为不同层指定不同的学习率 # ## 提取指定层对象 special_layers = t.nn.ModuleList([net.classifiter[ 0 ], net.classifiter[ 3 ]]) # ## 获取指定层参数id special_layers_params = list ( map ( id , special_layers.parameters())) print (special_layers_params) # ## 获取非指定层的参数id base_params = filter ( lambda p: id (p) not in special_layers_params, net.parameters()) optimizer = t.optim.SGD([{ 'params' : base_params}, { 'params' : special_layers.parameters(), 'lr' : 0.01 }], lr = 0.001 ) |
四、在训练中动态的调整学习率
1
2
3
4
5
6
7
8
9
|
'''调整学习率''' # 新建optimizer或者修改optimizer.params_groups对应的学习率 # # 新建optimizer更简单也更推荐,optimizer十分轻量级,所以开销很小 # # 但是新的优化器会初始化动量等状态信息,这对于使用动量的优化器(momentum参数的sgd)可能会造成收敛中的震荡 # ## optimizer.param_groups:长度2的list,optimizer.param_groups[0]:长度6的字典 print (optimizer.param_groups[ 0 ][ 'lr' ]) old_lr = 0.1 optimizer = optim.SGD([{ 'params' : net.features.parameters()}, { 'params' : net.classifiter.parameters(), 'lr' : old_lr * 0.1 }], lr = 1e - 5 ) |
可以看到optimizer.param_groups结构,[{'params','lr', 'momentum', 'dampening', 'weight_decay', 'nesterov'},{……}],集合了优化器的各项参数。