Pytorch-区分nn.BCELoss()、nn.BCEWithLogitsLoss()和nn.CrossEntropyLoss() 的用法

详细理论部分可参考https://www.cnblogs.com/wanghui-garcia/p/10862733.html

BCELoss()和BCEWithLogitsLoss()的输出logits和目标labels（必须是one_hot形式）的形状相同。

CrossEntropyLoss()的目标labels的形状是[3, 1]（以下面为例，不能是one_hot形式），输出logits是[3, 2]。如果是多分类，labels的形状是[batch, 1]，值为0~num_classes-1之间。

import torch
import torch.nn as nn
import torch.nn.functional as F

m = nn.Sigmoid()

loss_f1 = nn.BCELoss()
loss_f2 = nn.BCEWithLogitsLoss()
loss_f3 = nn.CrossEntropyLoss()

logits = torch.randn(3, 2)
labels = torch.FloatTensor([[0, 1], [1, 0], [1, 0]])

print(loss_f1(m(logits), labels))      #tensor(0.9314)，注意logits先被激活函数作用
print(loss_f2(logits, labels))         #tensor(0.9314)

label2 = torch.LongTensor([1, 0, 0])
print(loss_f3(logits, label2))         #tensor(1.2842)

logits3 = torch.randn(3, 10)       #如果是十分类 
label3 = torch.LongTensor([9, 2, 5])
print(loss_f3(logits3, label3))        #tensor(2.6467)

 如果label2也想变成labels，然后通过BCELoss进行计算的话，可以先转变成独热编码的形式：

encode = F.one_hot(label2, num_classes = 2)               #encode的值和labels一样，但是类型是LongTensor
print(loss_f1(m(logits), encode.type(torch.float32)))     #tensor(0.9314)

Tip：BCEWithLogitsLoss()可以用于多标签分类，将最后分类层的每个输出节点使用sigmoid激活函数激活，然后对每个输出节点和对应的标签计算交叉熵损失函数。

import torch
import numpy as np

pred = np.array([[-0.4089, -1.2471, 0.5907],
                [-0.4897, -0.8267, -0.7349],
                [0.5241, -0.1246, -0.4751]])
label = np.array([[0, 1, 1],
                  [0, 0, 1],
                  [1, 0, 1]])

pred = torch.from_numpy(pred).float()
label = torch.from_numpy(label).float()

crition1 = torch.nn.BCEWithLogitsLoss()
loss1 = crition1(pred, label)
print(loss1)　　　　　　　　　　　　　　＃tensor(0.7193)

crition2 = torch.nn.MultiLabelSoftMarginLoss()
loss2 = crition2(pred, label)
print(loss2)　　　　　　　　　　　　　　＃tensor(0.7193)