矩阵的迹的定义:一个 n×n 的矩阵 A 的迹是指 A 的主对角线上各元素的总和,记作 tr(A) 。即

    tr(A)=i=1naii

  定理1:

    tr(AB)=tr(BA)

  证明:

    tr(AB)=i=1n(AB)ii=i=1nj=1mAijBji=j=1mi=1nBjiAij=j=1m(BA)jj=tr(BA)

  定理2:

    tr(ABC)=tr(CAB)=tr(BCA)

  证明:

    把 AB 或者 BC 当作整体, 由定理 1 可以知道成立

  定理3:

    tr(AB)A=tr(BA)A=BT

  其中 Am×n 的矩阵, Bn×m 的矩阵

  证明:

    tr(AB)=tr(a11a12a1na21a22a2nam1am2amn)(b11b12b1mb21b22b2mbn1bn2bnm)

  只考虑对角线上的元素, 那么有

    tr(AB)=i=1na1ibi1+i=1na2ibi2++i=1namibim=i=1mj=1naijbji

    tr(AB)aij=bjitr(AB)A=BT

  定理4:

    tr(ATB)A=tr(BAT)A=B

  证明:

    证明步骤跟定理 3 一样, 很容易, 不再赘述。
  定理5:

    tr(A)=tr(AT)
  证明:

    略。
  定理6:

    如果 aR , 那么有 tr(a)=a
  证明:

    当作 1×1  的矩阵处理即可。

  定理7:

    tr(ABATC)A=CAB+CTABT
  证明: 分步求导, 得到如下表达式

    tr(ABATC)A=tr(ABATC)A+tr(ATCAB)A(1)=(BATC)T+CAB(14)=CAB+CTABT

  例子:

    tr(A)=i=1naiitr(ABC)=tr(BCA)=tr(CAB)tr(AB)=tr(BA)tr(AB)A=tr(BA)A=BTtr(A)=tr(AT)tr(ATBA)A=BA+BTAtr(AXBXCT)X=ATCXTBT+BTXTATCtr(ABAT)A=AB+ABTtr(AXBX)X=ATXTBT+BTXTATtr(AXBXT)X=AXB+ATXBTtr(ATB)A=tr(BAT)A=Btr(ATXBT)X=tr(AXTB)X=AB

 


  向量的L2范数求导

  回归中最为基础的方法, 最小二乘法.

    JLS(θ)=12Axb2

  向量的范数定义

    x=[x1,,xn]Txp=(i=1m|xi|p)1p,p<+
  L2 范数具体为

    x2=(|x1|2++|xm|2)12=xTx

  矩阵求导

    采用列向量形式定义的偏导算子称为列向量偏导算子,习惯称为梯度算子, n×1 列向量偏导算子即梯度算子记作 x ,定义为

    x=x=[x1,,xm]T
  如果 x 是一个 n×1 的列向量,那么

    yxx=yT(xTAx)x=(A+AT)x

  通过以上准备, 我们下面进行求解

    JLS(θ)=12Axb2=12(Axb)T(Axb)=12(xTATbT)(Axb)=12(xTATAx2bTAx+bTb)

  需要注意的 b,x 都是列向量, 那么 bTAx 是个标量, 标量的转置等于自身, bTAx=xTATb

  对 x 求导得:

    JLS(θ)=ATAxATb=AT(Axb)

 

posted @   别关注我了,私信我吧  阅读(2010)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 清华大学推出第四讲使用 DeepSeek + DeepResearch 让科研像聊天一样简单!
· 推荐几款开源且免费的 .NET MAUI 组件库
· 实操Deepseek接入个人知识库
· 易语言 —— 开山篇
· Trae初体验
Live2D
点击右上角即可分享
微信分享提示