Softmax函数与交叉熵
一般在神经网络中, softmax可以作为分类任务的输出层。
输出n个类别选取的概率,并且概率和为1。
i代表的是第i个神经元的输出,zi是下面
loss function表示的是真实值与网络的估计值的误差。交叉熵的函数是这样的
yi表示真实的分类结果。
求导。首先,我们要明确一下我们要求什么,我们要求的是我们的loss对于神经元输出的梯度。
一般在神经网络中, softmax可以作为分类任务的输出层。
输出n个类别选取的概率,并且概率和为1。
i代表的是第i个神经元的输出,zi是下面
loss function表示的是真实值与网络的估计值的误差。交叉熵的函数是这样的
yi表示真实的分类结果。
求导。首先,我们要明确一下我们要求什么,我们要求的是我们的loss对于神经元输出的梯度。