softmax
Softmax
分成 soft 和 max 两个部分。max故名思议就是最大值的意思。Softmax的核心在于soft,而 soft 与之相对的是 hard。
hardmax
就是只选出其中一个最大的值 max ,即非黑即白。但是往往在实际中这种方式是不合情理的,
用到了soft的概念,Softmax的含义就在于不再唯一的确定某一个最大值,而是为每个输出分类的结果都赋予一个概率值,表示属于每个类别的可能性。
下面给出Softmax函数的定义(以第i个节点输出为例):
其中为第i个节点的输出值,C为输出节点的个数,即分类的类别个数。通过Softmax函数就可以将多分类的输出值转换为范围在[0, 1]和为1的概率分布。