高斯分布相乘、积分整理

高斯分布相乘、积分整理

文章包括的内容有：

• 一元高斯分布相乘的分布
• 多元高斯分布相乘的分布
• [] 一元高斯的卷积分布
• 应用：对多元高斯分布的参数推断
• 应用：高斯线性系统的推导

前三部分的参考文献Products and Convolutions of Gaussian Probability Density
Functions. P.A. Bromile。应用的内容来自"machine learning a probabilistic perspective"的第四章p119~p120页。

引言

高斯分布是一个很重要的连续分布形式，频繁出现应用场景和里也可以导出很多分布，如在典型的线性回归中对误差$\epsilon$的建模就是用的标准正态分布，统计学的学生$,t,$分布就是从正态分布中导出。随着贝叶斯统计学的广泛应用，相乘的高斯分布（高斯先验）等形式也出现在公式中，例如高斯线性系统，本文就这些形式进行说明。

一元高斯分布相乘

假设$p(x_1)=\mathcal{N}(x|{\mu }_1,{\sigma }_1),p(x_2)=\mathcal{N}(x|{\mu }_2,{\sigma }_2)$均是关于变量$x$的分布，现想计算$p(x_1)p(x_2)$的分布形式。

$$\begin{array}{rl}p(x_1)p(x_2)& =e^{-\frac{1}{2{\sigma }_1^2}(x-{\mu }_1{)}^2}{e}^{-\frac{1}{2{\sigma }_2^2}(x-{\mu }_2{)}^2}\\ & =e^{-\frac{1}{2}\frac{（{\sigma }_1^2+{\sigma }_2^2）x^2-2({\mu }_1{\sigma }_2^2+{\mu }_2{\sigma }_1^2)x+\text{constant}}{{\sigma }_1^2{\sigma }_2^2}}\end{array}$$

得两个高斯分布相乘仍为缩放的高斯分布，通过配方得到缩放的高斯分布参数为：

$$\begin{array}{rl}\mu & =\frac{{\mu }_1{\sigma }_2^2+{\mu }_2{\sigma }_1^2}{{\sigma }_1^2+{\sigma }_2^2}\\ \sigma & =\sqrt{\frac{{\sigma }_1^2{\sigma }_2^2}{{\sigma }_1^2+{\sigma }_2^2}}\end{array}$$

上式可写为如下形式，从而推广至$n$个一维高斯分布相乘：

$$\begin{array}{rl}\mu & =(\frac{{\mu }_1}{{\sigma }_1^2}+\frac{{\mu }_2}{{\sigma }_2^2}){\sigma }^2\\ \frac{1}{{\sigma }^2}& =\frac{1}{{\sigma }_1^2}+\frac{1}{{\sigma }_2^2}\end{array}$$

具体为何是缩放的高斯分布可以阅读参考资料。

多元高斯分布相乘

我们熟知的多元高斯分布形式如下：

$$\frac{1}{{2\pi }^{\frac{D}{2}}|\mathrm{\Sigma }{|}^{\frac{1}{2}}}{e}^{-\frac{1}{2}(\mathbf{x}-\mu {)}^T{\mathrm{\Sigma }}^{-1}(\mathbf{x}-\mu )}$$

多元高斯分布的另一种形式自然分布形式用到的参数为：

$$\begin{array}{rl}\mathrm{\Lambda }& ={\mathrm{\Sigma }}^{-1}\\ \xi & ={\mathrm{\Sigma }}^{-1}\mu \end{array}$$

分布形式如下：

$$\frac{1}{{2\pi }^{\frac{D}{2}}}|\mathrm{\Lambda }|{}^{\frac{1}{2}}{e}^{-\frac{1}{2}({\mathbf{x}}^T\mathrm{\Lambda }\mathbf{x}-2{\mathbf{x}}^T\xi +{\xi }^T{\mathrm{\Lambda }}^{-1}\xi )}$$

将指数外的系数放入指数部分，得到：

$$e^{-\frac{1}{2}{\mathbf{x}}^T\mathrm{\Lambda }\mathbf{x}+{\xi }^T\mathbf{x}-\zeta }$$

其中$\zeta$为：

$$\frac{1}{2}({\xi }^T{\mathrm{\Lambda }}^{-1}\xi +D{\log }^{2\pi }-{\log }^{|\mathrm{\Lambda }|})$$

在多个多元高斯相乘时，得到的结果如下：

$$e^{-\frac{1}{2}{\mathbf{x}}^T(\sum _i^n{\mathrm{\Lambda }}_i)\mathbf{x}+(\sum _i^n{\xi }_i{)}^T\mathbf{x}-\sum _i^n{\zeta }_i}$$

通过对$\zeta$进行变换可以发现，仍为多元高斯分布。

上述两个式子均是通过配方法来寻找新分布的参数，而其中的normalization项则并不那么重要。

一元高斯的卷积分布

由于不清楚傅里叶变换，这部分暂时空缺。其实求得的分布结果与在大学概率论课上求两个正态分布变量加和的分布结果相一致。

推断高斯分布的参数

这一部分的内容来自于"Machine Learning A Probabilistic Perspective"一书的第四章p132~p134。假设多元高斯分布的参数$\mu ,\mathrm{\Sigma }$来自服从Normal-inverse-wishart分布：

$$\begin{array}{r}\mathcal{N}(\mu |m_0,\frac{1}{{\kappa }_0}\mathrm{\Sigma })\times \text{IW}(\mathrm{\Sigma }|S_0,v_0)\\ =\frac{1}{{\text{Z}}_{\text{NIW}}}|\mathrm{\Sigma }{|}^{-\frac{1}{2}}{e}^{-\frac{{\kappa }_0}{2}(\mu -m_0{)}^T{\mathrm{\Sigma }}^{-1}(\mu -m_0)}\times \\ |\mathrm{\Sigma }{|}^{-\frac{v+D+1}{2}}{e}^{-\frac{1}{2}tr(S_0{\mathrm{\Sigma }}^{-1})}\end{array}$$

在观测到一批数据集$\mathcal{D}$后，计算似然为：

$$|\mathrm{\Sigma }{|}^{-\frac{N}{2}}{e}^{-\frac{N}{2}(\mu -\overline{x}{)}^T{\mathrm{\Sigma }}^{-1}(\mu -\overline{x})}\times e^{-\frac{1}{2}tr(S_{\overline{x}}{\mathrm{\Sigma }}^{-1})}$$

在计算参数后验的分布时，用到了多元高斯分布相乘的方法。现假设：

$$\begin{array}{rl}{\mathrm{\Lambda }}_1& ={\kappa }_0{\mathrm{\Sigma }}^{-1}\\ {\mathrm{\Lambda }}_2& =N{\mathrm{\Sigma }}^{-1}\\ {\xi }_1& ={\kappa }_0{\mathrm{\Sigma }}^{-1}{m}_0\\ {\xi }_2& =N{\mathrm{\Sigma }}^{-1}\overline{x}\end{array}$$

利用相同的方法，可以得到：

$$\begin{array}{rl}\mathrm{\Lambda }& =({\kappa }_0+N){\mathrm{\Sigma }}^{-1}\\ m_N& ={\mathrm{\Lambda }}^{-1}({\xi }_1+{\xi }_2)\\ & =\frac{{\kappa }_0{m}_0+N\overline{x}}{{\kappa }_0+N}\end{array}$$

高斯线性系统

这一部分的内容来自于"Machine Learning A Probabilistic Perspective"一书的第四章。这部分的内容可能与前面所述的不一致（多个均为同一变量$\mathrm{x}$分布的分布）。高斯线性系统如下：

$$\begin{array}{r}p(x)=\mathcal{N}({\mu }_{\mathbf{0}}\mathbf{,}{\mathbf{\Sigma }}_{\mathbf{0}})\\ p(y|x)=\mathcal{N}(A\mathcal{x}+b,{\mathrm{\Sigma }}_y)\end{array}$$

$y$由$\mathbf{x}$产生，在观测到$y$后可以对$\mathbf{x}$进行更新：

$$p(x|y)=\mathcal{N}({\mu }_{x|y},{\mathrm{\Sigma }}_{x|y})$$

下面对${\mu }_{x|y},{\mathrm{\Sigma }}_{x|y}$进行计算。已知$p(x,y)=p(y|x)p(x)$，$p(y|x)p(x)$的指数部分为：

$$\begin{array}{rl}{x}^T({\mathrm{\Sigma }}_0^{-1}+& A^T{\mathrm{\Sigma }}_y^{-1}A)x-2x^T({\mathrm{\Sigma }}_0^{-1}{\mu }_0+A^T{\mathrm{\Sigma }}_y^{-1}(y-b))+\\ & (y-b{)}^T{\mathrm{\Sigma }}_y^{-1}(y-b)+{\mu }_0^T{\mathrm{\Sigma }}_0^{-1}{\mu }_0\end{array}$$

通过配方可以得到：

$$\begin{array}{rl}{\mathrm{\Sigma }}_{x|y}^{-1}& ={\mathrm{\Sigma }}_0^{-1}+A^T{\mathrm{\Sigma }}_y^{-1}A\\ {\mu }_{x|y}& ={\mathrm{\Sigma }}_{x|y}({\mathrm{\Sigma }}_0^{-1}{\mu }_0+A^T{\mathrm{\Sigma }}_y^{-1}(y-b))\end{array}$$

下面对$p(y)$进行求解，我们知道$p(y)=\int p(y|x)p(x)dx\text{，}p(x)p(y|x)=p(y)p(x|y)$通过上述的式子，如果对上式求积分或者配方会有些复杂。实际上，通过上式可以得到$p(x,y)$逆协方差矩阵：

$$\mathrm{\Lambda }=\left[\begin{array}{cc}{\mathrm{\Sigma }}_0^{-1}+A^T{\mathrm{\Sigma }}_y^{-1}A& -A^T{\mathrm{\Sigma }}_y^{-1}\\ -{\mathrm{\Sigma }}_y^{-1}A& {\mathrm{\Sigma }}_y^{-1}\end{array}\right]$$

利用联合高斯分布的推断结论，可以得到：

$$\begin{array}{rl}{\mu }_{x|y}& ={\mathrm{\Sigma }}_{x|y}({\mathrm{\Sigma }}_{x|y}^{-1}{\mu }_0-{\mathrm{\Lambda }}_{12}(y-{\mu }_y))\\ & ={\mathrm{\Sigma }}_{x|y}({\mathrm{\Sigma }}_0^{-1}{\mu }_0+A^T{\mathrm{\Sigma }}_y^{-1}A{\mu }_0+A^T{\mathrm{\Sigma }}_y^{-1}(y-{\mu }_y))\\ & ={\mathrm{\Sigma }}_{x|y}({\mathrm{\Sigma }}_0^{-1}{\mu }_0+A^T{\mathrm{\Sigma }}_y^{-1}(y-b))\end{array}$$

可以推知：

$${\mu }_y=A{\mu }_0+b$$

再对${\mathrm{\Sigma }}_y^{\prime }$（这里${\mathrm{\Sigma }}_y^{\prime }$表示$p(y)$的协方差矩阵）进行计算：

$$\begin{array}{rl}\mathrm{\Sigma }& =\left[\begin{array}{cc}{\mathrm{\Sigma }}_x& {\mathrm{\Sigma }}_{xy}\\ {\mathrm{\Sigma }}_{xy}^T& {\mathrm{\Sigma }}_y\end{array}\right]\\ & ={\mathrm{\Lambda }}^{-1}\end{array}$$

$$\begin{array}{rl}\left[\begin{array}{cc}\mathrm{I}& A^T\\ 0& \mathrm{I}\end{array}\right]\mathrm{\Lambda }\left[\begin{array}{cc}\mathrm{I}& 0\\ A& \mathrm{I}\end{array}\right]& =\left[\begin{array}{cc}{\mathrm{\Sigma }}_0^{-1}& 0\\ 0& {\mathrm{\Sigma }}_y^{-1}\end{array}\right]\\ {\mathrm{\Lambda }}^{-1}& =\left[\begin{array}{cc}\mathrm{I}& 0\\ A& \mathrm{I}\end{array}\right]\left[\begin{array}{cc}{\mathrm{\Sigma }}_0& 0\\ 0& {\mathrm{\Sigma }}_y\end{array}\right]\left[\begin{array}{cc}\mathrm{I}& A^T\\ 0& \mathrm{I}\end{array}\right]\\ & =\left[\begin{array}{cc}{\mathrm{\Sigma }}_0& {\mathrm{\Sigma }}_0{A}^T\\ A{\mathrm{\Sigma }}_0& {\mathrm{\Sigma }}_y+A{\mathrm{\Sigma }}_0{A}^T\end{array}\right]\end{array}$$

因此${\mathrm{\Sigma }}_y^{\prime }={\mathrm{\Sigma }}_y+A{\mathrm{\Sigma }}_0{A}^T$，$p(y)$的分布参数如下：

$$\begin{array}{rl}\mu & =A{\mu }_0+b\\ \mathrm{\Sigma }& ={\mathrm{\Sigma }}_y+A{\mathrm{\Sigma }}_0{A}^T\end{array}$$