Fisher divergence 与 Fisher Information

Fisher Divergence (Fisher Information Distance) 和 Fisher Information 可以通过标准化 Fisher Information 联系。

1. Fisher Divergence：对于随机变量 \(U\) 和 \(V\) ，概率密度函数分别为 \(f\) 和 \(g\) ，Fisher Divergence 定义为：
   \[\begin{equation*} I(U \| V) = I(f \| g) = \int f(x)\| \triangledown \log ⁡f(x) - \triangledown \log ⁡g(x) \|^{2} \mathrm{d}x \end{equation*} \]
   可以发现，Fisher Divergence 与 KL Divergence 类似，可以作为随机变量 U 和 V 之间距离的度量。
2. 标准化Fisher Information：若随机变量 \(U\) 的均值为 \(\mu\) ，方差为 \({\sigma}^{2}\)，则指定正态随机变量 \(V{\sim}\mathcal{N}(\mu, {\sigma}^{2})\)，标准化Fisher Information为随机变量 U 和 V 之间的归一化距离
   \[\begin{equation*} I_{\mathrm{s}}(U) = {\sigma}^{2} I(U \| V) \end{equation*} \]

3. 可以证明，标准化 Fisher Information 与 Fisher Information 之间满足
   \[\begin{equation*} I_{\mathrm{s}}(U) = {\sigma}^{2} I(U) - 1 \end{equation*} \]
   即随机变量 \(U\) 的 Fisher Information 可以由随机变量 \(U\) 与正态随机变量 \(V{\sim}\mathcal{N}(\mu, {\sigma}^{2})\) 之间的 Fisher Divergence 表征。
   证明：根据 Fisher Divergence 和标准化 Fisher Information 的定义，有
   \[\begin{align*} I_{\mathrm{s}}(U) &= {\sigma}^{2} \int f(x) \| \triangledown \log f(x) + \frac{x-\mu}{\sigma^{2}} \|^{2} \mathrm{d} x = {\sigma}^{2} \mathbb{E}\left[\left( \triangledown \log f(x) + \frac{x-\mu}{\sigma^{2}} \right)^{2} \right] \\ &= {\sigma}^{2} \mathbb{E}\left[ \left( \triangledown \log f(x) \right)^{2} \right] - 2{\sigma}^{2} \mathbb{E}\left[ \triangledown \log f(x) \frac{x-\mu}{\sigma^{2}} \right] + {\sigma}^{2} \mathbb{E}\left[ \left( \frac{x-\mu}{\sigma^{2}} \right)^{2} \right] \end{align*} \]
   其中，容易得到
   \[\begin{equation*} I(U) = \mathbb{E}\left[ \left( \triangledown \log f(x) \right)^{2} \right] \end{equation*} \]
   和
   \[\begin{equation*} \mathbb{E}\left[ \left( \frac{x-\mu}{\sigma^{2}} \right)^{2} \right] = \frac{1}{\sigma^{2}}. \end{equation*} \]
   由 Stein Identity 可以得到
   \[\begin{equation*} \mathbb{E}\left[ \triangledown \log f(x) \frac{x-\mu}{\sigma^{2}} \right] = -\mathbb{E}[\frac{1}{\sigma^{2}}] = -\frac{1}{\sigma^{2}}. \end{equation*} \]
   代回原式，有
   \[\begin{equation*} I_{\mathrm{s}}(U) = {\sigma}^{2}I(U) - 2 + 1 = {\sigma}^{2}I(U) - 1, \end{equation*} \]
   证毕。