二次型（求梯度） —— 公式的简化

1. 基本等式

• 定义式：

  xTAx=∑i,jxixjAij

• 化简

  (wTx−wTm)2=wT(x−m)(x−m)Tw=wTAw

  简单证明如下：

  (wTx−wTm)2=(wTx)(wTx)+(wTm)(wTm)−2wTxwTm=wTxxTw−2wTxmTw+wTmmTw=wT(x−m)(x−m)Tw=wTAw

2. 性质

• xTWy=yTWx

  代码证明

  x = np.random.rand(3)
  W = np.random.rand(3, 4)
  y = np.random.rand(4)
  
  x.dot(W.dot(y))
  y.dot((W.T).dot(x))
              # 两者是相等的；

  理论证明：

  xTWy====∣∣∣∑ixiWi1∑ixiWi2⋯∑ixiWin∣∣∣⋅y∑jyj(∑ixiWij)∑ijxiWijyj=∑ijyj(W′)jixiyTWx

  显然有，Aij=(A′)ji

3. 二次型是标量

就像行列式是标量一样；

比如对于主成分分析 PCA 的推导而言，S 为数据的协方差矩阵，则有：

1N∑n=1N(uuT1xn−uuTx¯)2=uuTSuu

4. 梯度计算

J=(x−y)TH(x−y)

求 ∇xJ。应用求导数的链式法则，J=f(x)THf(x)，所以有：

∇xJ=dJdf(x)⋅df(x)dx=2Hf(x)⋅f′(x)