pytorch---损失函数和优化器
一、损失函数
损失函数可以当作是nn的某一个特殊层，也是nn.Module的子类。但是实际中。然而在实际使用中通常将这些loss function专门提取出来，和主模型互相独立。
score=t.randn(3,2) //batch_size=3,类别是2.
label=t.Tensor([1,0,1].long()) //注意label必须得是longTensor
criterion=nn.CrossEntropyLoss() //CroosEntropyLoss是常用的二分类损失函数
loss=criterion(score,label)
二、优化器
所有的优化方法都封装在torch.optim里面，他的设计很灵活，可以扩展为自定义的优化方法。
所有的优化方法都是继承了基类optim.Optimizer。并实现了自己的优化步骤。
关于优化器需要掌握：
1、优化方法基本使用方法。
2、如何为不同的层设置不同的学习率。
3、如何调整学习率。
1、优化方法基本使用
import optim
ptimizer=optim.SGD(params=net.parameters(),lr=0.1)
optimizer.zero_grad() //梯度清零
output=net(input)
output.backward(output)
optimizer.step()
2、如何为不同的层设置不同的学习率
法1
# 为不同子网络设置不同的学习率，在finetune中经常用到
# 如果对某个参数不指定学习率，就使用最外层的默认学习率
optimizer =optim.SGD([
{'params': net.features.parameters()}, # 学习率为1e-5
{'params': net.classifier.parameters(), 'lr': 1e-2}
], lr=1e-5)
法2
# 只为两个全连接层设置较大的学习率，其余层的学习率较小
special_layers = nn.ModuleList([net.classifier[0], net.classifier[3]])
special_layers_params = list(map(id, special_layers.parameters()))
base_params = filter(lambda p: id(p) not in special_layers_params,
net.parameters())
optimizer = t.optim.SGD([
{'params': base_params},
{'params': special_layers.parameters(), 'lr': 0.01}
], lr=0.001 )
optimizer
3、如何调整学习率
法1（比较推荐）：新建一个optimizer。对于使用动量的优化器（如Adam），会丢失动量等状态信息，可能会造成损失函数的收敛出现震荡等情况
old_lr = 0.1
optimizer1 =optim.SGD([
{'params': net.features.parameters()},
{'params': net.classifier.parameters(), 'lr': old_lr*0.1}
], lr=1e-5)
optimizer1
法2：一种是修改optimizer.param_groups中对应的学习率
# 方法2: 调整学习率, 手动decay, 保存动量
for param_group in optimizer.param_groups:
param_group['lr'] *= 0.1 # 学习率为之前的0.1倍
optimizer
nn中的每一个layer在functional中基本都有与之对应的函数。为此怎么判断何时用nn.Module,何时用functional里的函数呢。
input = t.randn(2, 3)
model = nn.Linear(3, 4)
output1 = model(input)
output2 = nn.functional.linear(input, model.weight, model.bias)
output1 == output2
b = nn.functional.relu(input)
b2 = nn.ReLU()(input)
b == b2
可见，Module是一个类，会自动提取可学习的参数。 但是functional是一个纯函数。所以当某layer是有看学习参数的话用Module实现（卷积、全连接），否则就是functional(激活、池化)。但是，注意Dropout虽然可学习参数但是因为在训练和测试的时候他的行为不一样，所以仍然放在Module，通使用nn.Module对象能够通过model.eval操作加以区分。
