CrossEntropy交叉熵基础

CrossEntropy交叉熵基础

1、定义

　　度量两个分布的相似度

2、公式原理

　　

 

 

3、应用

分类：onehot+crossentropy

为何在分类问题种使用ce而不是用mse，

1）mse对于分类问题的loss不准确

　　如 0.2，0.2，0.6 与0.0，0.4，0.6 y1的loss为0.24， y2loss为0.32， y1优于y2，实际使用mse过于严格。

　　对于ce，两者的loss近似

2）对于mse loss ，ce更能表现出分布之间的相似程度。

　　如0.1，0.2，0.7与0.2，0.2，0.6，mse loss相差0.1，但是ce 相差0.15