高维高斯分布的简述


标准的一元高斯分布概率密度函数是：

$f(x_1)=\frac{1}{\sqrt{2\pi}}e^{\frac{-x_1^2}{2}}$

如果有另外一个随机变量 $x_2$ ，它和 $x_1$ 是相互独立的，那么，它们的联合概率密度函数是：

$\begin{split} g(x_1, x_2) &= f(x1)f(x_2)\\ &= \frac{1}{\sqrt{2\pi}}\frac{1}{\sqrt{2\pi}}e^{\frac{-(x_1^2+x_2^2)}{2}} \end{split}$

那么，如果用 $x_1$ 和 $x_2$ 组成一个随机向量，形如:

$\bm x = \left( \begin{array}{c} x_1\\ x_2 \end{array} \right)$

那么， $\bm x$ 的密度函数就是：

$\begin{split} g(\bm x) &= \frac{1}{(2\pi)^{\frac{2}{2}}}e^{-\frac{x_1^2+x_2^2}{2}}\\ &=\frac{1}{(2\pi)^{\frac{2}{2}}}e^{-\frac{\bm x ^T\bm x}{2}} \end{split}$

为了让形式更一般化，设:

$\bm y = \frac{A(\bm x - u)}{\sigma}$

概率密度函数关系里可知：

注释：这里笔误||A||---->>>|A| 是指A的矩阵

　　　概率密度函数间的关系

$g(\bm y) = \frac{\|A\|}{\sigma}g(\frac{A(\bm x - u)}{\sigma})$

所以， $\bm y$ 的概率密度函数是：

$\begin{split} g(\bm y) &= \frac{\|A\|}{(2\pi)^{\frac{2}{2}}\sigma }e^{-\frac{(\bm x - u)^TA^TA(\bm x - u)}{2\sigma ^2}} \end{split}$

令:

$\Sigma=\frac{\sigma ^2}{A^TA}$

如果两侧取行列式，则：

$\|\Sigma\|=\frac{\sigma ^2}{\|A^TA\|}=\frac{\sigma ^2}{\|A^T\|\|A\|}=\frac{\sigma ^2}{\|A\|\|A\|}$

所以：

$\begin{split} g(\bm y) &= \frac{\|A\|}{(2\pi)^{\frac{2}{2}}\sigma }e^{-\frac{(\bm x - u)^TA^TA(\bm x - u)}{2\sigma ^2}}\\ &= \frac{1}{(2\pi)^{\frac{2}{2}}\|\Sigma\|^{\frac{1}{2}}}e^{-\frac{1}{2}(\bm x - u)^T\Sigma ^{-1}(\bm x - u)} \end{split}$

如果 $\bm x$ 和 $\bm y$ 是 $d$ 维随机变量，那么上式就变成:

$g(\bm y) = \frac{1}{(2\pi)^{\frac{d}{2}}\|\Sigma\|^{\frac{1}{2}}}e^{-\frac{1}{2}(\bm x - u)^T\Sigma ^{-1}(\bm x - u)}$


本博文参考：https://www.zhihu.com/question/36339816

posted on 2017-11-01 17:25 影醉阏轩窗阅读(732) 评论(0) 编辑收藏举报

刷新页面返回顶部

寂寞的小乞丐

高维高斯分布的简述

导航

公告