模式识别学习笔记-数学知识

数学期望(均值)和方差

随机变量X的数学期望(或称均值）记作$E(x)$，它描述了随机变量的取值中心，随机变量$(X-E(X){)}^2$的数学期望称为$X$的方差，记作${\sigma }^2$，而$\sigma$称为$X$的均方差（标准差）。它描述了随机变量与均值的偏差的疏密程度。

• 若$X$是连续型随机变量，其分布密度为$p(x)$，则当积分绝对收敛的时候

$$\begin{gathered} m=E(X)={\int }_{-\infty }^{\infty }xp(x)dx \\ {\sigma }^2=E\{(X-m{)}^2\}={\int }_{-\infty }^{\infty }(x-m{)}^{2}p(x)dx \end{gathered}$$

• 若$X$是离散型随机变量，其可能取值为$x_k,k=1,2,...,$且$P(X=x_k)=p_k$，则（当级数是绝对收敛时）
  $$\begin{gathered} m=E(X)=\sum _{k=1}^{\infty }{x}_k{p}_k \\ D(X)=\sum _{k=1}^{\infty }(x_k-m{)}^2{p}_k \end{gathered}$$

协方差矩阵

协方差矩阵说明随机向量$X$的各分量的分散情况，定义为：
$$\begin{array}{rl}c& =E\{(X-m)(X-m{)}^T\}\\ & =E\left\{\left[\begin{array}{c}(X_1-m_1)\\ ⋮\\ (X_1-m_1)\end{array}\right]\left[\begin{array}{c}(X_1-m_1)\cdots (X_n-m_n)\end{array}\right]\right\}\\ & =\left[\begin{array}{c}E[(X_1-m_1)(X_1-m_1)]\cdots E[(X_1-m_1)(X_n-m_n)]\\ ⋮\ddots ⋮\\ E[(X_n-m_n)(X_1-m_1)]\cdots E[(X_n-m_n)(X_n-m_n)]\end{array}\right]\\ & =\left(\begin{array}{c}{\lambda }_{11}\cdots {\lambda }_{1n}\\ ⋮\ddots ⋮\\ {\lambda }_{n1}\cdots {\lambda }_{nn}\end{array}\right)\end{array}$$
其中，协方差矩阵的各分量为：
$${\lambda }_{ij}=E[(X_i-m_i)(X_j-m_j)]$$
若$i\ne j$，则${\lambda }_{ij}$是$X$的第$i$个分量与第$j$个分量的协方差；
若$i=j$，则${\lambda }_{ij}$是随机变量$X_i$的方差，即协方差矩阵的对角分量；

一维正态密度函数

一维随机变量$X$的正态密度函数表示为：
$$p(x)=\frac{1}{\sqrt{2\pi }\sigma }exp\left[-\frac{(x-m{)}^2}{2{\sigma }^2}\right]$$
其中均值$m=E(X)={\int }_{-\infty }^{\infty }xp(x)dx$；方差${\sigma }^2=E\{(X-m{)}^2\}={\int }_{-\infty }^{\infty }(x-m{)}^{2}p(x)dx$，$\sigma$为标准差。
在$m$左右各为$k\sigma$的范围内，概率为：
$$\begin{array}{rl}p\{m-k\sigma \le x\le m+k\sigma \}& ={\int }_{m-k\sigma }^{m+k\sigma }\frac{1}{\sqrt{2\pi }\sigma }exp\left[-\frac{1}{2}{\left(\frac{x-m}{\sigma }\right)}^2\right]dx\\ & =\frac{1}{\sqrt{2\pi }}{\int }_{-k}^{k}exp\left[-\frac{y^2}{2}\right]dy\end{array}$$
其中，$y=(x-m)/\sigma$，此时$p$与$k$的关系：
$$p\{m-k\sigma \le x\le m+k\sigma \}=\{\begin{array}{ll}0.683& k=1\\ 0.954& k=2\\ 0.997& k=3\end{array}$$
因此，在区间$|x-m|\le 3\sigma$内，差不多包含了全部由正态样本取样的子样本。
正态密度函数可完全由均值和方差所决定，因此可以由下式表示：
$p(x)\sim N(m,{\sigma }^2)$

多维正态密度函数

$n$维随机向量的正态密度函数表示为：
$$p(x)=\frac{1}{(\sqrt{2\pi }{)}^{\frac{n}{2}}|C{|}^{\frac{1}{2}}}exp\left\{-\frac{1}{2}(x-m{)}^T{C}^{-1}(x-m)\right\}$$
其中
$$x=\left[\begin{array}{c}{x}_1\\ ⋮\\ x_n\end{array}\right],m=\left[\begin{array}{c}{m}_1\\ ⋮\\ m_n\end{array}\right],C=\left[\begin{array}{ccc}{\sigma }_{11}^2& \cdots & {\sigma }_{1n}^2\\ ⋮& \ddots & ⋮\\ {\sigma }_{n1}^2& \cdots & {\sigma }_{nn}^2\end{array}\right]$$
$|C|$为协方差矩阵$C$的行列式。
多维正态密度函数由其均值$m$和协方差矩阵$C$确定，因此可用下式表示：
$$p(x)\sim N(m,C)$$