摘要：
分类问题中，交叉熵常与softmax结合使用，交叉熵能够衡量同一个随机变量中的两个不同概率分布的差异程度，在机器学习中就表示为真实概率分布与预测概率分布之间的差异。交叉熵的值越小，模型预测效果就越好。 交叉熵损失函数Cross Entropy Loss “信息是用来消除随机不确定性的东西”，信息量大 阅读全文
摘要：
Sigmoid函数 大于5（或小于-5）的部分其梯度接近0，会导致在误差反向传播过程中导数处于该区域的误差很难甚至无法传递到前层，进而导致整个网络无法进行训练。 sigmoid型激活函数值域的均值并非为 0而是全为正，这样的结果实际上并不符合我们对神经网络内数值的期望（均值）应为 0的设想。 Tan 阅读全文