【351】实数对向量求导公式及推导
实数对向量求导公式,得到结果的形式与 分母(自变量) 一致,意思就是,自变量是列向量,结果也是列向量
因变量是否转置对于结果无影响,这一条是我自己总结的。
公式一:将 x 约掉后,剩下一个跟 x 维度一直的就可以了,所以都是 a。
∇x(aTx)=∇x(aTx)T=∇x(xTa)=a |
∂aTx∂x=∂(aTx)T∂x=∂xTa∂x=a |
公式二:理解成 x∗x=x2 吧,所以就是 2x。
∇x||x||22=∇x(xTx)=2x |
∂||x||22∂x=∂(xTx)∂x=2x |
公式三:本来结果应该类似 2Ax,然而由于转置不影响,也可以得 2ATx,所以综合来看就是 (A+AT)x。
∇x(xTAx)=∇x(xTAx)T=∇x(xTATx)=(A+AT)x |
∂(xTAx)∂x=∂(xTAx)T∂x=∂(xTATx)∂x=(A+AT)x |
实值函数对向量求导
- 未作特殊说明即为对变量 x 求导
- 一个基本的雅克比矩阵(由定义易得):
- ∇x(Ax)=A
- 特别地,∇xx=∇x(Ix)=I
- 向量内积的求导法则
- 注:内积是一个实数,因此本节相当于实数对向量求导,结果是与自变量同型的向量。
- ∇(aTx)=∇(xTa)=a
- 证明:∂aTx∂xi=∂∑jajxj∂xi=∂aixi∂xi=ai
- ∇||x||22=∇(xTx)=2x
- 证明一(直接计算):∂||x||22∂xi=∂∑jx2j∂xi=∂x2i∂xi=2xi
- 证明二(变量多次出现的求导法则):∇(xTx)=∇x(xTcx)+∇x(xTxc)=2∇x(xTcx)=2xc=2x,其中 xc 表示将 x 的此次出现不视作自变量,而是视作与 x 无关的常数,下同。
- ∇(xTAx)=(A+AT)x
- 证明(变量多次出现的求导法则):LHS=∇(xTcAx)+∇(xTAxc)=∇((ATxc)Tx)+∇((Axc)Tx)=ATxc+Axc=RHS
- 若 A 是对称矩阵,即 A=AT,上式右边还可以进一步化简为 2Ax
- **向量函数内积的求导法则**
- 若 u(x):Rn→Rm,v(x):Rn→Rm,则 ∇(uTv)=(∇xu)Tv+(∇xv)Tu
- 证明(变量多次出现的求导法则 + 一次复合的求导法则):LHS=∇(uTvc)+∇(uTcv)=(∇xu)Tvc+(∇xv)Tuc=RHS
#### 向量数乘求导公式
- ∇x(α(x)f(x))=f(x)∇xTα(x)+α(x)∇xf(x)
- 说明:向量对向量求导,结果是一个雅克比矩阵,形状为 f 的维度乘 x 的维度
- 推导:∂αfi∂xj=fi∂α∂xj+α∂fi∂xj,两边逐分量对比一下便知等式成立。
- 记忆:按两个标量函数相乘的求导法则记,再注意一下**维度相容原理**即可。另外注意,等式左边 α(x)f(x) 是向量的数乘(若 f(x) 为行向量也可视作矩阵乘法);右边 α(x)∇xf(x) 是矩阵的数乘。
posted on 2019-01-21 11:05 McDelfino 阅读(3400) 评论(0) 编辑 收藏 举报
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· AI与.NET技术实操系列(二):开始使用ML.NET
· 记一次.NET内存居高不下排查解决与启示
· 探究高空视频全景AR技术的实现原理
· 理解Rust引用及其生命周期标识(上)
· 浏览器原生「磁吸」效果!Anchor Positioning 锚点定位神器解析
· DeepSeek 开源周回顾「GitHub 热点速览」
· 记一次.NET内存居高不下排查解决与启示
· 物流快递公司核心技术能力-地址解析分单基础技术分享
· .NET 10首个预览版发布:重大改进与新特性概览!
· .NET10 - 预览版1新功能体验(一)