softmax

Softmax

分成 soft 和 max 两个部分。max故名思议就是最大值的意思。Softmax的核心在于soft，而 soft  与之相对的是 hard。

hardmax

就是只选出其中一个最大的值 max ，即非黑即白。但是往往在实际中这种方式是不合情理的，

用到了soft的概念，Softmax的含义就在于不再唯一的确定某一个最大值，而是为每个输出分类的结果都赋予一个概率值，表示属于每个类别的可能性。

下面给出Softmax函数的定义（以第i个节点输出为例）：

 其中为第i个节点的输出值，C为输出节点的个数，即分类的类别个数。通过Softmax函数就可以将多分类的输出值转换为范围在[0, 1]和为1的概率分布。