torch 中的 Cross Entropy Loss 计算表达式

torch 中的 Cross Entropy Loss​

预测结果为:

$$P_1, P_2 ...P_n$$

其中$P_i=\{P_{i1},P_{i2},...,P_{iM}\}$ 表示第 $i$ 个样本的预测结果，$P_{ik}$ 表示预测第 $i$ 个样本是类别 $k$ 的概率。

相应地标签用 $L_i$ 表示，$L_i\in\{1, 2,...,M\}$ 表示类别。

LOSS计算过程：

计算$P_i$ 的$logsoftmax$值 $LS_i$:

$$LS_i=\{log(e^{P_{id}}/\sum_t^M e^{P_{it}})| d=1, 2, ...M\}$$

$LS_i=\{LS_{i1},LS_{i2}...,LS_{iM}\}$,

$Loss=-\sum _i^n LS_{iL{i}}$

python 实现：

import numpy as np
import torch
def softmax(ls):
    ans = []
    for line in ls:
        ans.append([np.e**t/np.sum([np.e**i for i in line]) for t in line])
    return ans
def log_softmax(ls):
    return [np.log(x) for x in softmax(ls)]
def nll_loss(ls, y):
    lsmat = log_softmax(ls)
    vs = 0
    for i in range(len(y)):
        yy = y[i]
        pred = lsmat[i]
        vs += pred[yy]
    return -vs/len(y)
P = torch.randn(5, 2)
Y = torch.LongTensor([0, 1, 1 ,0 ,0])
print(nll_loss(P, Y))