pytorch损失函数----交叉熵损失函数torch.nn.CrossEntropyLoss()

引言

主要记一下CrossEntropyLoss()函数内部运行原理，主要说一下内部参数redcution="mean"时的操作，reduction="sum"就是将对应加起来，关于函数的定义什么官网了解。

原理

CrossEntropyLoss()函数主要是三部分：Softmax->Log->NNLLoss，NNLLoss操作主要是对预测结果求并取平均值，然后取负，详细看下面例子

input就是我们实际计算出的y_hat，这里只是简单举个例子

target就是我们的真实值y，这里也是简单举个例子

对input进行softmax操作

对softmax输出的值进行log操作

对log输出执行NNLLoss操作

调用CrossEntropyLoss()函数

最后输出的损失值都一样，NNLLoss操作:-((-0.6494) + (-1.2165) +(-2.5198))/ 3。

当reduction="sum"时