Softmax函数与交叉熵损失函数

Softmax函数与交叉熵损失函数

深度学习新手，如果错误，还请指正，谢谢

Softmax激励函数

用于生成各个结果的概率分布，其输出概率之和为1，同时取概率最高的作为结果

交叉熵损失函数（Cross Entropy Loss）

softmax函数结果与真实值计算交叉熵，我们就构建了交叉熵损失函数，交叉熵损失函数的结果反映了网络估计值与真实值的偏差。

为了减小偏差，将交叉熵损失函数输入优化器（本质都是梯度下降方法）来优化权值和偏置（与阈值互为相反数），然后再输出。

反复这一过程，我们要的结果就是损失函数近似收敛于0。

这个反复迭代的过程，其实就是“正向传播 —— 反向传播（BPN） —— 正向传播”的交替过程。