01 2022 档案

CrossEntropy 交叉熵推导

摘要：1. 引言我们都知道损失函数有很多种：均方误差（MSE）、SVM的合页损失（hinge loss）、交叉熵（cross entropy）。这几天看论文的时候产生了疑问：为啥损失函数很多用的都是交叉熵（cross entropy）？其背后深层的含义是什么？如果换做均方误差（MSE）会怎么样？下面我们阅读全文

posted @ 2022-01-25 16:36 Through_The_Night 阅读(844) 评论(0) 推荐(0) 编辑

CrossEntropyLoss

摘要：据pytorch的官方文档，torch.nn.functional里的cross_entropy是基于log_softmax和nll_loss实现的。没关系，通过最简单的torch原函数复现，可以较深理解当中的原理。 import torch def my_cross_entropy(input, 阅读全文

posted @ 2022-01-25 00:31 Through_The_Night 阅读(55) 评论(0) 推荐(0) 编辑