alex_bn_lee

导航

< 2025年3月 >
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

统计

【351】实数对向量求导公式及推导

实数对向量求导公式,得到结果的形式与 分母(自变量) 一致,意思就是,自变量是列向量,结果也是列向量

因变量是否转置对于结果无影响,这一条是我自己总结的。

公式一:将 x 约掉后,剩下一个跟 x 维度一直的就可以了,所以都是 a

x(aTx)=x(aTx)T=x(xTa)=a
aTxx=(aTx)Tx=xTax=a

公式二:理解成 xx=x2 吧,所以就是 2x

x||x||22=x(xTx)=2x
||x||22x=(xTx)x=2x

公式三:本来结果应该类似 2Ax,然而由于转置不影响,也可以得 2ATx,所以综合来看就是 (A+AT)x

x(xTAx)=x(xTAx)T=x(xTATx)=(A+AT)x
(xTAx)x=(xTAx)Tx=(xTATx)x=(A+AT)x

 

实值函数对向量求导

- 未作特殊说明即为对变量 x 求导

- 一个基本的雅克比矩阵(由定义易得):

- x(Ax)=A
- 特别地,xx=x(Ix)=I

- 向量内积的求导法则

- 注:内积是一个实数,因此本节相当于实数对向量求导,结果是与自变量同型的向量。

- (aTx)=(xTa)=a

- 证明:aTxxi=jajxjxi=aixixi=ai

- ||x||22=(xTx)=2x

- 证明一(直接计算):||x||22xi=jx2jxi=x2ixi=2xi
- 证明二(变量多次出现的求导法则):(xTx)=x(xTcx)+x(xTxc)=2x(xTcx)=2xc=2x,其中 xc 表示将 x 的此次出现不视作自变量,而是视作与 x 无关的常数,下同。

- (xTAx)=(A+AT)x

- 证明(变量多次出现的求导法则):LHS=(xTcAx)+(xTAxc)=((ATxc)Tx)+((Axc)Tx)=ATxc+Axc=RHS


- 若 A 是对称矩阵,即 A=AT,上式右边还可以进一步化简为 2Ax

- **向量函数内积的求导法则**

- 若 u(x):RnRm,v(x):RnRm,则 (uTv)=(xu)Tv+(xv)Tu

- 证明(变量多次出现的求导法则 + 一次复合的求导法则):LHS=(uTvc)+(uTcv)=(xu)Tvc+(xv)Tuc=RHS


#### 向量数乘求导公式

- x(α(x)f(x))=f(x)xTα(x)+α(x)xf(x)

- 说明:向量对向量求导,结果是一个雅克比矩阵,形状为 f 的维度乘 x 的维度

- 推导:αfixj=fiαxj+αfixj,两边逐分量对比一下便知等式成立。

- 记忆:按两个标量函数相乘的求导法则记,再注意一下**维度相容原理**即可。另外注意,等式左边 α(x)f(x) 是向量的数乘(若 f(x) 为行向量也可视作矩阵乘法);右边 α(x)xf(x) 是矩阵的数乘。

 

posted on   McDelfino  阅读(3400)  评论(0编辑  收藏  举报

编辑推荐:
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析
阅读排行:
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布:重大改进与新特性概览!
· .NET10 - 预览版1新功能体验(一)
点击右上角即可分享
微信分享提示