cross entropy与softmax求导(2) 推导

损失函数为cross entropy, y是预测值,one-hot向量,

 

 

激活函数为softmax,

 

 

求函数关于输入向量theta的导数,结果很简单,可以直接记住:

 

 

因为是输入向量,多输入元素求偏导的过程中,需要考虑两种情况

然后log开导,自然底数和log抵消调,然后就得到两种情况的两种导数公式

然后合并一下,就得到上面的向量公式

 

posted @ 2018-09-13 16:00  烧鸭饭真好吃  阅读(132)  评论(0编辑  收藏  举报