Softmax偏导及BP过程的推导

Softmax求导

其实BP过程在pytorch中可以自动进行,这里进行推导只是强迫症

A

Apart证明softmax求导和softmax的BP过程
本来像手打公式的,想想还是算了,引用部分给出latex公式说明。

A.1

softmax导数
image

A.2

softmax梯度下降
image

B

基本上都是拾人牙慧,在此给出引用和参考。

参考:


B.15B.16

(B.15)

xkM×1,yR,zRN×1,:yzx=yzx+yxzRM×N

[证明]:dyz=dyz+ydz=zdy+ydz=z(yx)dx+y(zx)dxyzx=yzx+yxz

(B.26)

xRN,f(x)=[f(x1),f(x2)f(xn)]RN,f(x)x=diag(f(x))

 [证明]: f(x)x=[f1x1f2x1fnηnf1xnf1xnfnxn]=[f(x1)f(x2)f(xn)]=diag(f(x))

Apart
(1)

xRn,exp(x)=[exp(x1)exp(xn)]Rn:exp(x)x=[exp(x1)x1exp(xn)x1exp(x1)xnexp(xn)xn]=diag(exp(x))

(2)

d1exp(x)=1dexp(x)=1(exp(x)dx)=(1exp(x))dx 有: 1exp(x)x=1exp(x)=exp(x)=exp(x)

C

理解可能有偏颇。

posted @   Aoi_dayo  阅读(119)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 推荐几款开源且免费的 .NET MAUI 组件库
· 实操Deepseek接入个人知识库
· 易语言 —— 开山篇
· Trae初体验
点击右上角即可分享
微信分享提示