1.主要函数及作用
tf.nn.softmax:以e为底,除整体的和。把数值压缩到【0,1】之间表示概率
log_softmax:对softmax的概率值求log 解决溢出 方便交叉熵【由logsoftmax nllloss】计算
NLLLoss:负对数 最大似然
crossEntropyLoss:log_softmax+nllloss
KLDivLoss:相对熵==交叉熵-熵 计算更复杂
2.交叉熵 相对熵关系
p:真实分布
q: 近似分布
用q来表示p所额外花的
愿为天下目,萃聚六路华