损失函数为cross entropy, y是预测值,one-hot向量,
激活函数为softmax,
求函数关于输入向量theta的导数,结果很简单,可以直接记住:
因为是输入向量,多输入元素求偏导的过程中,需要考虑两种情况
然后log开导,自然底数和log抵消调,然后就得到两种情况的两种导数公式
然后合并一下,就得到上面的向量公式