pytorch softmax cross_entropy系列计算函数及作用解析

1.主要函数及作用

 

 

tf.nn.softmax：以e为底，除整体的和。把数值压缩到【0，1】之间表示概率

log_softmax：对softmax的概率值求log 解决溢出 方便交叉熵【由logsoftmax nllloss】计算

NLLLoss：负对数 最大似然

crossEntropyLoss：log_softmax+nllloss

KLDivLoss:相对熵==交叉熵-熵 计算更复杂

2.交叉熵 相对熵关系

 

p：真实分布

 

q:  近似分布

用q来表示p所额外花的