softmax,entropy,crossentropy 总结

一、softmax函数

softmax用于多分类过程中，它将多个神经元的输出，映射到（0,1）区间内，可以看成概率来理解，从而来进行多分类！

假设我们有一个数组，V，Vi表示V中的第i个元素，那么这个元素的softmax值就是

 

 

 

tensorflwo中举例:

 

 

二  信息熵：

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

在tensorflow中:

 

 

pytorch中:pytorch中cross_entropy中已经做了softmax,所以参数必须传的是logits

 

 

补充:

keras里sparse_categorical_crossentropy和categorical_crossentropy

 

都是计算多分类crossentropy的，只是对y的格式要求不同。

1）如果是categorical_crossentropy，那y必须是one-hot处理过的

2）如果是sparse_categorical_crossentropy，那y就是原始的整数形式，比如[1, 0, 2, 0, 2]这种