torch 中的 Cross Entropy Loss 计算表达式

torch 中的 Cross Entropy Loss​

预测结果为:

\[P_1, P_2 ...P_n \]

其中\(P_i=\{P_{i1},P_{i2},...,P_{iM}\}\) 表示第 \(i\) 个样本的预测结果，\(P_{ik}\) 表示预测第 \(i\) 个样本是类别 \(k\) 的概率。

相应地标签用 \(L_i\) 表示，\(L_i\in\{1, 2,...,M\}\) 表示类别。

LOSS计算过程：

计算\(P_i\) 的\(logsoftmax\)值 \(LS_i\):

\[LS_i=\{log(e^{P_{id}}/\sum_t^M e^{P_{it}})| d=1, 2, ...M\} \]

\(LS_i=\{LS_{i1},LS_{i2}...,LS_{iM}\}\),

\(Loss=-\sum _i^n LS_{iL{i}}\)

python 实现：

import numpy as np
import torch
def softmax(ls):
    ans = []
    for line in ls:
        ans.append([np.e**t/np.sum([np.e**i for i in line]) for t in line])
    return ans
def log_softmax(ls):
    return [np.log(x) for x in softmax(ls)]
def nll_loss(ls, y):
    lsmat = log_softmax(ls)
    vs = 0
    for i in range(len(y)):
        yy = y[i]
        pred = lsmat[i]
        vs += pred[yy]
    return -vs/len(y)
P = torch.randn(5, 2)
Y = torch.LongTensor([0, 1, 1 ,0 ,0])
print(nll_loss(P, Y))