正态分布的密度函数,可以一般化地写为

\[f(x) = k \exp\left[-\dfrac{1}{2}(x-b)' A (x-b)\right] \]

事实上,如果某个多维随机变量的密度函数可以写成该形式,那么它就服从正态分布。其中\(b\)是均值,正定矩阵\(A\)是协方差矩阵的逆,它们共同决定的正态分布的形式。而另外一个字母\(k\),仅仅是归一化系数,它是满足整个密度函数的积分等于\(1\)的那个值。

如果有人背过公式,会发现这个系数的形式比较复杂。本文具体来看看,它是怎么计算出来的。

由于\(A\)是正定的,必有分解\(A=CC'\)。先做个变换,令\(x-b=(C')^{-1}y\),那么

\[(x-b)' A (x-b) = y' C^{-1}A(C')^{-1}y = y'y \]

同时,该变换的Jacobian matrix为\(J = \det [(C')^{-1}]=1/\det(C)\)

假设\(x\)\(d\)维,则\(y\)也是\(d\)维,将其各维写出,有\(y = (y_1,\cdots,y_d)'\)。接下来,对密度函数进行积分:

\[\begin{aligned} &\int_{-\infty}^{\infty} \cdots \int_{-\infty}^{\infty} f(x) dx_1 \cdots dx_d\\ =& \int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty} k\exp(-\dfrac{1}{2}y'y) |J| dy_1 \cdots dy_d\\ =& \dfrac{k}{|\det(C)|} \int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty} \prod_{i=1}^{d}\exp(-\dfrac{1}{2} y_i^2) dy_1 \cdots dy_d\\ =& \dfrac{k}{|\det(C)|} \prod_{i=1}^{d} \int_{-\infty}^{\infty} \exp(-\dfrac{1}{2} y_i^2) dy_i \\ =& \dfrac{k}{|\det(C)|} \prod_{i=1}^{d} \sqrt{2\pi} \\ =& \dfrac{k}{|\det(C)|} (2\pi)^{d/2} \\ =& k [\det(A)]^{-1/2} (2\pi)^{d/2} \end{aligned} \]

上述积分必定等于\(1\),因此,

\[k=(2\pi)^{-d/2} [\det(A)]^{1/2} \]