深度学习 概率知识

 贝叶斯

 

 高斯分布

 

 

 

交叉熵

根据香浓理论，熵是描述信息量的一种度量，如果某一事件发生的概率越小，也就是不确定性越大，那么熵就越大，或者说是信息量越大

 

 

我们要让交叉熵尽可能地小，模型预测效果越好

在计算CrossEntropyLosss时，真实的label（一个标量）被处理成onehot编码的形式。

交叉熵在机器学习中的运用：引用博客https://blog.csdn.net/tsyccnh/article/details/79163834

 

一些公式变形