高斯分布

高斯分布亦称正态分布，是应用最为广泛的连续概率分布。

1.一维高斯分布

标准的正态分布为，

\[p(x) = \frac{1}{{\sqrt {2\pi } }}\exp ( - \frac{{{x^2}}}{2})\]

令$\mu$表示均值，$\sigma ^2$表示方差，一般的正态分布为，

\[p(x|\mu ,{\sigma ^2}) = \frac{1}{{\sqrt {2\pi {\sigma ^2}} }}\exp ( - \frac{{{{(x - \mu )}^2}}}{{2{\sigma ^2}}})\]

2.多维高斯分布

现从一维的标准正态分布扩展到多维的标准正态分布，

\[p({\bf{v}}) = \frac{1}{{\sqrt {2\pi } }}\exp ( - \frac{{{{\bf{v}}^T}{\bf{v}}}}{2})\]

令${\bf{v = A(x - \mu )}}$，其中x为d维列向量，v为d维列向量，u为d维列向量，A为dxd维行列式，扩展多维的标准正态分布至多维一般正态分布，

\[p({\bf{x}}) = \frac{{\det ({\bf{A}})}}{{\sqrt {2\pi } }}\exp ( - \frac{{{{{\bf{(x - \mu )}}}^T}{{\bf{A}}^T}{\bf{A(x - \mu )}}}}{2})\]

其中，$\det ({\bf{A}})$表示行列式A绝对值，为了保证概率密度函数的积分为1，整理上式为，

\[p({\bf{x}}) = \frac{1}{{\sqrt {2\pi {{\left( {{{({{\bf{A}}^T}{\bf{A}})}^{ - \frac{1}{2}}}} \right)}^2}} }}\exp \left( { - \frac{{{{{\bf{(x - \mu )}}}^T}{\bf{(x - \mu )}}}}{{2{{\left( {{{({{\bf{A}}^T}{\bf{A}})}^{ - \frac{1}{2}}}} \right)}^2}}}} \right)\]

其中$\bf{\mu}$为均值，${{\bf{\sigma }}^2}{\rm{ = }}{({{\bf{A}}^T}{\bf{A}})^{ - 1}}$为协方差矩阵，对角线上是各属性的方差，矩阵的其他地方是属性两两之间的协方差。

 

参考：

多维高斯分布是如何由一维发展而来的？ - 王赟 Maigo的回答 - 知乎 https://www.zhihu.com/question/36339816/answer/67043318