正态分布（从1维到n维）
1. 一维正态分布
连续型随机变量 $X$，它的数学期望为 $\mu$，方差为 $\sigma^{2}$，如果它的概率密度满足
$$f(x) = \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^{2}}{2\sigma^{2}}}, \; -\infty < x < +\infty$$
则称 $X$ 服从参数为 $(\mu, \sigma)$ 的正态分布，记为 $X \sim N(\mu, \sigma)$。
从这个概率密度的式子中可以看出，正态分布只依赖于总体的两个特征：均值和方差。概率密度的图像长成下面这个样子：
横坐标 $x$ 关于直线 $y=\mu$ 对称的坐标是 $2\mu - x$，将 $2\mu-x$ 代入概率密度函数有
$$f(2\mu-x) = \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(2\mu-x-\mu)^{2}}{2\sigma^{2}}} = f(x)$$
所以函数 $f(x)$ 关于直线 $y=\mu$ 对称。
要想证明这个概率密度函数在 $(-\infty, +\infty)$ 上积分为 $1$，需要先证明下面这个积分：
$$\int_{0}^{+\infty}e^{-x^{2}}dx = \frac{\sqrt{\pi}}{2}$$
证明：
$$\left (\int_{0}^{+\infty}e^{-x^{2}}dx \right )^{2} = \int_{0}^{+\infty}e^{-x^{2}}dx \cdot \int_{0}^{+\infty}e^{-y^{2}}dx \\
= \int_{0}^{+\infty}dx\int_{0}^{+\infty}e^{-\left (x^{2} + y^{2} \right )}dx \\
= \iint_{0 \leq x,y < +\infty}^{}e^{-\left (x^{2} + y^{2} \right )}dxdy \\
= \int_{0}^{\frac{\pi}{2}}d\theta \int_{0}^{+\infty}e^{-r^{2}}rdr = \frac{\pi}{4}$$
证毕
利用上面这个结论可以得到：
$$\int_{-\infty}^{+\infty}\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^{2}}{2\sigma^{2}}} = 1$$
也就是说 $f(x)$ 图像和 $x$ 轴所围成的面积为 $1$，因为
$$f(\mu) = \frac{1}{\sqrt{2\pi}\sigma}$$
所以，$\sigma$ 越小，$f(\mu)$ 越大，但由于面积恒定为 $1$，所以图像会往内收缩，表现为数据越集中，这和方差的性质是契合的，即：
$\sigma$ 描述正态分布资料数据分布的离散程度，$\sigma$ 越大，数据分布越分散，$\sigma$ 越小，数据分布越集中。也称为是正态分布的形状参数，
$\sigma$ 越大，曲线越扁平，反之，$\sigma$ 越小，曲线越瘦高。
令 $Y = \frac{X-\mu}{\sigma}$，我们来研究一下随机变量 $Y$ 满足什么分布。
$$F_{Y}(y) = P(Y \leq y) = P\left ( \frac{X-\mu}{\sigma} \leq y\right ) \\
= P\left ( X \leq \sigma y + \mu \right ) \\
= F_{X}(\sigma y + \mu)$$
所以
$$f(y) = F_{Y}^{'}(y) = \sigma F_{X}^{'}(\sigma y + \mu) \\
= \frac{1}{\sqrt{2\pi}}e^{-\frac{y^{2}}{2}}$$
于是有：$Y \sim N(0, 1)$
2. $n$ 维正态分布
随机变量序列 $X=(X_1,X_2,...,X_n)^T$，设 $\mu=(\mu_1,\mu_2,...,\mu_n)^T$，$\sigma = (\sigma_1,\sigma_2,...,\sigma_n)^{T}$，则协方差矩阵为
$$Cov(X) = \begin{bmatrix}
cov(X_1,X_1) & cov(X_1,X_2) & \cdots & cov(X_1,X_n) \\
cov(X_2,X_1) & cov(X_2,X_2) & \cdots & cov(X_2,X_n)\\
\vdots & \vdots & \cdots & \vdots \\
cov(X_n,X_1) & cov(X_n,X_2) & \cdots & cov(X_n,X_n)
\end{bmatrix} = \begin{bmatrix}
\sigma_1^2 & cov(X_1,X_2) & \cdots & cov(X_1,X_n) \\
cov(X_2,X_1) & \sigma_2^2 & \cdots & cov(X_2,X_n)\\
\vdots & \vdots & \cdots & \vdots \\
cov(X_n,X_1) & cov(X_n,X_2) & \cdots & \sigma_n^2
\end{bmatrix}$$
如果 $X$ 的概率密度满足
$$f(X) = \frac{1}{\sqrt{(2\pi)^n \cdot det(Cov(X))}}e^{-\frac{1}{2}(X-\mu)^{T}Cov^{-1}\;(X)(X-\mu)}$$
则称 $X$ 服从 $n$ 维正态分布，只要 $n$ 维随机变量满足正态分布，它就有如下性质：
1）每个分量 $X_i$ 服从一维正态分布，即 $X_i \sim N(\mu_i,\sigma_i^2)$。
2）$X_1,X_2,...,X_n$ 的任意非 $0$ 线性组合服从正态分布，即
$$k_1^{2} + k_2^{2} + \cdots + k_n^{2} \neq 0 \\
\Rightarrow k_1X_1 + k_2X_2 + \cdots + k_nX_n \sim N$$
接下来来看二维正态分布，即 $n=2$，首先写出协方差矩阵：
$$Cov(X) = \begin{bmatrix}
\sigma_1^2 & cov(X_1,X_2) \\
cov(X_2,X_1) & \sigma_2^2
\end{bmatrix} = \begin{bmatrix}
\sigma_1^2 & \rho \sigma_1\sigma_2 \\
\rho \sigma_1\sigma_2 & \sigma_2^2
\end{bmatrix}$$
其逆矩阵为
$$Cov^{-1} \; (X) = \frac{1}{\left ( 1-\rho^2 \right
)\sigma_1^2\sigma_2^2}\begin{bmatrix}
\sigma_2^2 & -\rho \sigma_1\sigma_2 \\
-\rho \sigma_1\sigma_2 & \sigma_1^2
\end{bmatrix}$$
取行列式得
$$det(X) = \sigma_1^2\sigma_2^2 - \rho^2 \sigma_1^2\sigma_2^2 = \left ( 1-\rho^2 \right
)\sigma_1^2\sigma_2^2$$
所以
$$f(X_1,X_2) = \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}exp\left \{ -\frac{1}{2\left ( 1-\rho^2 \right
)}\left [ \frac{(X_1-\mu_1)^{2}}{\sigma_1^2} - \frac{2\rho(X_1-\mu_1)(X_2-\mu_2)}{\sigma_1\sigma_2} +
\frac{(X_2-\mu_2)^{2}}{\sigma_2^2} \right ] \right \}$$
