natural gradient笔记

自然梯度和梯度的区别

自然梯度是在梯度前左乘某正定矩阵$G$,即

$$\tilde{\mathrm{\nabla }}h=G^{-1}\mathrm{\nabla }h$$

自然梯度和梯度的区别在于使用的距离度量空间不同，梯度使用的是欧几里得空间，而自然梯度使用的是黎曼空间，即

$$\begin{array}{r}|dw{|}^2=\sum g_{ij}(w)d{w}_{i}d{w}_j\end{array}$$

根据梯度的定义，即在给定$ϵ$范围内下降速度最快的方向即为梯度，将$ϵ$范围定义在黎曼空间即可推导出自然梯度，即

$$\begin{array}{rl}L(w+dw)& =L(w)+ϵ\mathrm{\nabla }L(w{)}^T\alpha \\ s.t.|\alpha {|}^2& =\sum g_{ij}{\alpha }_i{\alpha }_j=1\end{array}$$

应用拉格朗日对偶可以得到

$$\alpha =G^{-1}\mathrm{\nabla }L(w)$$

上式中，$\alpha$是要找的在黎曼空间下降最快的方向，$G$表示的是$g_{ij}$组成的矩阵。

Fisher矩阵和自然梯度

Fisher矩阵的定义如下

$$\begin{array}{rl}F& =E_{P_{x,y}}[\mathrm{\nabla }\log p(x,y|\theta )\mathrm{\nabla }{\log p(x,y|\theta )}^T]\\ & =-E_{P_{x,y}}[H_{\log p(x,y|\theta )}]\end{array}$$

自然梯度中的$G$使用Fisher矩阵的逆，即

$$\tilde{\mathrm{\nabla }}h=F^{-1}\mathrm{\nabla }h$$

上式中$p(x,y|\theta )$表示的是数据特征$x$和标签$y$的联合分布，而通常的监督学习$x$是给定的，学习的算法是要得到$p(y|x,\theta )$的分布。对上式中的联合分布进行拆分，得到

$$\begin{array}{rl}F& =E_{Q_x}[E_{P_{y|x}}[\mathrm{\nabla }\log p(y|x,\theta )\mathrm{\nabla }{\log p(y|x,\theta )}^T]]\\ & =-E_{Q_x}[E_{P_{y|x}}[H_{\log p(y|x,\theta )}]]\end{array}$$

Fisher矩阵和KL散度

对于一个监督学习算法，我们要得到$q(y|x)$的估计$p(y|x,\theta )$，我们希望两个分布的距离尽可能的小，即

$$\begin{array}{rl}KL(Q_{x,y}\Vert P_{x,y}(\theta ))& =\int q(x,y)\log \frac{q(y|x)q(x)}{p(y|x,\theta )q(x)}\\ & =\int q(x)\int q(y|x)\log \frac{q(y|x)}{p(y|x,\theta )}\\ & =E_{Q_x}[KL(Q_{y|x}\Vert P_{y|x}(\theta ))]\end{array}$$

在实际的训练过程中，我们通常是无法得到输入$q(x,y)$分布的，通常使用的是${\hat{Q}}_{x,y}$，即经验分布，因此上述的目标可以简化为最小化下式

$$-\frac{1}{|S|}\sum \log p(y|x,\theta )$$

上式也可以看作最小化负对数似然。

假如损失函数$L(y,z)=-\log r(y|z)$，Fisher矩阵可以写为

$$F=\frac{1}{|S|}\sum E_{P_{y|x}}[H_{L(y,f(x,\theta ))}]$$

通过对于KL散度的泰勒展开，我们可以得到Fisher矩阵为下式的近似

$$KL(P(\theta )\Vert P(\theta +\delta ))\approx \frac{1}{2}{\delta }^{T}F\delta$$

因此Fisher矩阵是对两个分布local的近似（一定要注意是在local情况下）

根据下式定理

$$\frac{-A^{-1}\mathrm{\nabla }h}{\Vert \mathrm{\nabla }h{\Vert }_{A^{-1}}}=\underset{ϵ\to 0}{lim}\frac{1}{ϵ}\arg \underset{d:\Vert d{\Vert }_A\le ϵ}{min}h(\theta +d)$$

即在半正定矩阵$A$定义的范数下，$-A^{-1}\mathrm{\nabla }h$是下降最快方向。自然梯度方向是在分布空间上局部下降最快的方向。

自然梯度和二阶优化的关系

Fisher矩阵和Hessian矩阵

如果目标函数$L=-\log r(y|z)$，Fisher矩阵可以写为

$$F=\frac{1}{|S|}\sum E_{Py|x}[H_{L(y,f(x,\theta ))}]$$

而Hessian矩阵表达式为

$$H=\frac{1}{|S|}\sum E_{{\hat{Q}}_{x,y}}[H_{L(y,f(x,\theta ))}]$$

可以看到只是两者是在不同分布下的期望，Fisher矩阵是在预测器给定$x$关于$y$的条件分布，是跟参数$\theta$有关的。而Hessian矩阵则是在经验分布之下的。

参考资料

• New insights and perspectives on the natural gradient method