正态分布的密度函数,可以一般化地写为
\[f(x) = k \exp\left[-\dfrac{1}{2}(x-b)' A (x-b)\right]
\]
事实上,如果某个多维随机变量的密度函数可以写成该形式,那么它就服从正态分布。其中\(b\)是均值,正定矩阵\(A\)是协方差矩阵的逆,它们共同决定的正态分布的形式。而另外一个字母\(k\),仅仅是归一化系数,它是满足整个密度函数的积分等于\(1\)的那个值。
如果有人背过公式,会发现这个系数的形式比较复杂。本文具体来看看,它是怎么计算出来的。
由于\(A\)是正定的,必有分解\(A=CC'\)。先做个变换,令\(x-b=(C')^{-1}y\),那么
\[(x-b)' A (x-b) = y' C^{-1}A(C')^{-1}y = y'y
\]
同时,该变换的Jacobian matrix为\(J = \det [(C')^{-1}]=1/\det(C)\)。
假设\(x\)是\(d\)维,则\(y\)也是\(d\)维,将其各维写出,有\(y = (y_1,\cdots,y_d)'\)。接下来,对密度函数进行积分:
\[\begin{aligned}
&\int_{-\infty}^{\infty} \cdots \int_{-\infty}^{\infty} f(x) dx_1 \cdots dx_d\\
=& \int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty} k\exp(-\dfrac{1}{2}y'y) |J| dy_1 \cdots dy_d\\
=& \dfrac{k}{|\det(C)|} \int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty} \prod_{i=1}^{d}\exp(-\dfrac{1}{2} y_i^2) dy_1 \cdots dy_d\\
=& \dfrac{k}{|\det(C)|} \prod_{i=1}^{d} \int_{-\infty}^{\infty} \exp(-\dfrac{1}{2} y_i^2) dy_i \\
=& \dfrac{k}{|\det(C)|} \prod_{i=1}^{d} \sqrt{2\pi} \\
=& \dfrac{k}{|\det(C)|} (2\pi)^{d/2} \\
=& k [\det(A)]^{-1/2} (2\pi)^{d/2}
\end{aligned}
\]
上述积分必定等于\(1\),因此,
\[k=(2\pi)^{-d/2} [\det(A)]^{1/2}
\]
同名公众号:分析101