04 随机变量的数字特征 | 概率论与数理统计
数学期望、方差、协方差
1. 数学期望
1. 数学期望
- 离散型随机变量的数学期望：设离散型随机变量\(X\)的分布律为\(P(X=x_k)=p_k,k = 1,2,\cdots\) ，如果级数\(\sum_{k=1}^{\infty}x_kp_k\) 绝对收敛，那么该级数的和为随机变量\(X\)的 数学期望，记作 \(E(X)\)
- 连续型随机变量的数学期望：设连续型随机变量的概率密度为\(f(x)\)，如果积分\(\int_{-\infty}^{+\infty}xf(x)dx\) 绝对收敛，那么此积分值为随机变量\(X\)的 数学期望，记为 \(E(X)\)
- \(E(X)\) 的定义说明
- 数学期望 \(E(X)\) 是一个实数而非变量，它是一种 加权平均，本质上体现了随机变量取到可能值的真正平均值，因此也称数学期望为 均值
- 级数的绝对收敛性保证了级数的和不随级数各项次序的改变而改变，之所以这样要求是因为数学期望是反映随机变量取可能值的的平均值，它不应随可能值的排列次序而改变
2. 重要分布的数学期望
- 离散型随机变量
- \((0-1)\)分布：\(E(x)=1\times p + 0\times(1-p) = p\)
- 二项分布\(X\sim b(n,p)\)：\(E(x)=np\)\[\begin{aligned} E(x) &=\sum_{k=0}^nk\frac{n!}{k!(n-k)!}p^k(1-p)^{n-k}\\ &=np\sum_{k=1}^{n}\frac{(n-1)!}{(k-1)!(n-k)!}p^{k-1}(1-p)^{n-1-(k-1)}\\ &=np\sum_{l=0}^{n-1}C_{n-1}^lp^l(1-p)^{n-1-l}\qquad(l = k-1)\\ &=np \end{aligned} \]
- 泊松分布\(X\sim \pi(\lambda)\)：\(E(x)=\lambda\)\[\begin{aligned} E(x) &= \sum_{k=0}^{+\infty}k\frac{\lambda^ke^{-\lambda}}{k!}\\ &=\lambda e^{-\lambda}\sum_{k=1}^{+\infty}\frac{\lambda^{k-1}}{(k-1)!}\\ &= \lambda e^{-\lambda}e^\lambda\\ &=\lambda \end{aligned} \]
- 连续型随机变量
- 均匀分布 \(X\sim U(a,b)\)：\(E(x)=\frac{a+b}{2}\)\[\begin{aligned} E(x) &= \int_{-\infty}^{+\infty}xf(x)dx\\ &= \int_{a}^{b}\frac{x}{b-a}dx\\ &=\frac{a+b}{2} \end{aligned} \]
- 指数分布：\(E(x)=\theta\)\[f(x)= \left\{\begin{matrix} \frac{1}{\theta}e^{-\frac{x}{\theta}}, &x>0 \\ 0, &x\le 0 \end{matrix}\right. \]\[\begin{aligned} E(x) &= \int_{0}^{\infty}\frac{x}{\theta}e^{-\frac{x}{\theta}}dx\\ &= -\int_{0}^{\infty}xde^{-\frac{x}{\theta}}\\ &= -xe^{-\frac{x}{\theta}}\big|_{0}^{\infty}+\int_{0}^{\infty}e^{-\frac{x}{\theta}}dx\\ &=\theta \end{aligned} \]
- 正态分布\(X\sim N(\mu,\sigma^2)\)：\(E(x)=\mu\)\[X\sim f(x) = \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}},\qquad-\infty<x<\infty \]\[\begin{aligned} E(x) &= \int_{-\infty}^{+\infty}\frac{x}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}dx\\ &= \int_{-\infty}^{+\infty}\frac{\sigma t+\mu}{\sqrt{2\pi}}e^{-\frac{t^2}{2}}dt\\ &=\mu \end{aligned} \]
- 均匀分布 \(X\sim U(a,b)\)：\(E(x)=\frac{a+b}{2}\)
- 不是 所有随机变量都存在数学期望，例如柯西分布 \(f(x)=\frac{1}{\pi(1+x^2)}\)，\(\int_{-\infty}^{+\infty}xf(x)dx\)不绝对收敛
3. 随机变量的函数的数学期望
- 离散型随机变量：\(E(Y) = E[g(X)]=\sum_{i=1}^{\infty}g(x_i)p_i\)，要求\(Y=g(X)\)连续而且级数\(\sum_{i=1}^{\infty}g(x_i)p_i\)绝对收敛
- 连续型随机变量：\(E(Y) = E[g(X)]=\int_{-\infty}^{+\infty}g(x)f(x)\)，要求\(Y=g(X)\)连续而且积分\(\int_{-\infty}^{+\infty}g(x)f(x)\)绝对收敛
- 可知求\(E[g(X)]\) 不需要 先求出 \(g(X)\) 的分布
4. 二维随机变量的数学期望
- 二维随机变量的数学期望
- 离散型随机变量\((X,Y)\)：分布律为\(P(X=x_i,Y=y_i)=p_{ij}\)，则\(E(X)=\sum_{i=1}^\infty\sum_{j=1}^\infty x_ip_{ij},E(Y)=\sum_{i=1}^\infty\sum_{j=1}^\infty y_ip_{ij}\)
- 连续型随机变量\((X,Y)\)：概率密度函数为 \(f(x,y)\)，则\(E(X)=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}xf(x,y)dxdy,E(Y)=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}yf(x,y)dxdy\)
- 二维随机变量函数的数学期望
- 离散型随机变量\((X,Y)\)：分布律为\(P(X=x_i,Y=y_i)=p_{ij}\)，则\(E(Z)=E[g(X,Y)]=\sum_{i=1}^\infty\sum_{j=1}^\infty g(x_i,y_i)p_{ij}\)
- 连续型随机变量\((X,Y)\)：概率密度函数为 \(f(x,y)\)，则\(E(Z)=E[g(X,Y)]=\int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}g(x,y)f(x,y)dxdy\)
5. 数学期望的性质
- \(E(C)=C,C\)为常数
- \(E(CX)=CE(X),C\)为常数
- \(E(X\pm Y)=E(X)\pm E(Y)\)
- \(E[\sum_{i=1}^nc_iX_i]=\sum_{i=1}^nc_iE(X_i)\)
- 如果\(X,Y\)相互独立，则\(E(XY)=E(X)E(Y)\)
- 如果\(X_1,\dots,X_n\)相互独立，则\(E[\prod_{i=1}^nX_i] = \prod_{i=1}^nE(X_i)\)
2. 方差
1. 方差
- 方差的定义
- 方差：设\(X\)是一随机变量，如果\(E\{[X-E(X)]^2\}\)存在，则称为随机变量\(X\)的 方差，记作\(D(x)\)或\(Var(x)\)
- 均方差（标准差）：\(\sqrt{D(x)}\)称为均方差或者标准差，记作\(\sigma(x)\)
- 方差的含义：体现随机变量的取值的 分散程度 的量
- 方差计算公式：\(D(x) = E(X^2) - E(X)^2\)
- 离散型随机变量：\(D(x) = \sum_{k=1}^{\infty}[x_k-E(X)]^2p_k\)
- 连续性随机变量：\(\int_{-\infty}^{\infty}[x-E(X)]^2f(x)dx\)
- 重要分布的方差
- 离散型随机变量
- \((0-1)\)分布：\(D(x) = p(1-p)\)
- 二项分布\(X\sim b(n, p)\)：\(D(x) = np(1-p)\)\[\begin{aligned} E(X^2) &= E[X(X-1)+X]\\ &= E[X(X-1)] + E(X)\\ &= \sum_{k=0}^nk(k-1)C_n^kp^kq^{n-k}+np\\ &= \sum_{k=0}^nk(k-1)\frac{n!}{k!(n-k)!}p^kq^{n-k}+np\\ &= n(n-1)p^2\sum_{k=2}^n\frac{(n-2)!}{k!(n-k)!}p^{k-2}q^{n-k}+np\\ &= n(n-1)p^2(p+q)^{n-2}+np\\ &= n(n-1)p^2+np\\ D(X) &= E(X^2) - E(X)^2\\ &= np(1-p) \end{aligned} \]
- 泊松分布\(X\sim \pi(\lambda)\)：\(D(x) = \lambda\)\[\begin{aligned} E(X^2) &= E[X(X-1)+X] \\ &= E(X(X-1)) + E(X) \\ &= \sum_{k=0}^{\infty}k(k-1)\frac{\lambda^ke^{-\lambda}}{k!}+\lambda\\ &= \lambda^2e^{-\lambda}\sum_{k=2}^{\infty}\frac{\lambda^{k-2}}{(k-2)!}+\lambda \\ &= \lambda^2e^{-\lambda}e^{\lambda}+\lambda\\ &= \lambda^2 + \lambda\\ D(X) &= E(X^2) - E(X)^2\\ &= \lambda \end{aligned} \]
- 连续型随机变量
- 均匀分布\(X\sim U(a,b)\)：\(D(X) = \frac{(b-a)^2}{12}\)
- 指数分布：\(D(X)=\theta^2\)
- 正态分布\(X\sim N(\mu, \sigma^2)\)：\(D(X)=\sigma^2\)\[\begin{aligned} D(X) &= E[X-E(X)]^2\\ &= \int_{-\infty}^{\infty}(x-\mu)^2\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}dx\\ &= \frac{\sigma^2}{\sqrt{2\pi}}\int_{-\infty}^{\infty}t^2e^{-t^2/2}\qquad(t = \frac{x-\mu}{\sigma})\\ &= \frac{\sigma^2}{\sqrt{2\pi}}[t(-e^{-t^2/2})\big|_{-\infty}^{\infty}+\int_{-\infty}^{\infty}e^{-t^2/2}dt]\\ &= \frac{\sigma^2}{\sqrt{2\pi}}\cdot \sqrt{2\pi}\\ &= \sigma^2 \end{aligned} \]
- 离散型随机变量
- 方差的性质
- \(D(C)=0\)
- \(D(CX)=C^2D(X),D(X+C)=D(X)\)
- \(D(X\pm Y) = D(X)+D(Y)\pm 2E\{[X-E(X)][Y-E(Y)]\}\)
- 当\(X,Y\)相互独立时，有\(D(X\pm Y)=D(X)+D(Y)\)
- \(D(X)=0\Longleftrightarrow P(X=E(X)) = 1\)
- 标准化变量
- 标准化变量：设随机变量\(X\)有期望\(E(X)= \mu\), 方差\(D(X)=\sigma^2\ne 0\)，记\(X^{\ast}=\frac{X-\mu}{\sigma}\)为\(X\)的 标准化变量
- \(E(X^{\ast})=0,D(X^{\ast})=1\)
2. 切比雪夫不等式
- 设随机变量\(X\)的数学期望为\(\mu\)，方差为\(\sigma^2\)，则对于任意正数\(\varepsilon\)，有\[P(|X-\mu|\ge \varepsilon)\le \frac{\sigma^2}{\varepsilon^2} \]\[P(|X-\mu|< \varepsilon)\ge 1 - \frac{\sigma^2}{\varepsilon^2} \]
- 作用：此不等式给出了在随机变量的分布未知的情况下事件\(|X-E(X)|<\varepsilon\)的概率的一种估计方法
数学期望与方差总结
| 分布 | 数学期望\(E(X)\) | 方差\(D(X)\) |
|---|---|---|
| \((0-1)\)分布 | \(p\) | \(p(1-p)\) |
| 二项分布\(X\sim b(n,p)\) | \(np\) | \(np(1-p)\) |
| 泊松分布\(X\sim \pi(\lambda)\) | \(\lambda\) | \(\lambda\) |
| 均匀分布\(X\sim U(a,b)\) | \(\frac{a+b}{2}\) | \(\frac{(b-a)^2}{12}\) |
| 指数分布\(\frac{1}{\theta}e^{-{x}/{\theta}}\) | \(\theta\) | \(\theta^2\) |
| 正态分布\(X\sim N(\mu,\sigma^2)\) | \(\mu\) | \(\sigma^2\) |
3. 协方差及相关系数
1. 协方差
- 协方差：设\((X,Y)\)为二维随机变量，如果\(E\{[X-E(X)][Y-E(Y)]\}\)存在，则称其为随机变量\(X,Y\)的 协方差，记为\(Cov(X,Y)\)
- 协方差计算
- \(Cov(X,Y) = E(XY)-E(X)E(Y)\)
- \(D(X\pm Y)=D(X)+D(Y)\pm 2Cov(X,Y)\)
- 如果为离散型随机变量：\(Cov(X,Y)=\sum_{i,j}[x_i-E(X)][y_j-E(Y)]p_{ij}\)
- 如果为连续型随机变量：\(Cov(X,Y)=\int_{-\infty}^{\infty}\int_{-\infty}^{\infty}[x - E(X)][y - E(Y)]f(x,y)dxdy\)
- 协方差的性质
- \(Cov(X,X)=D(X)\)
- 对称性：\(Cov(X,Y)=Cov(Y,X)\)
- 线性性
- \(Cov(aX,bY) = abCov(X,Y)\)
- \(Cov(X_1+X_2,Y) = Cov(X_1, Y) + Cov(X_2, Y)\)
- 如果\(X,Y\)相互独立，则\(Cov(X,Y)=0\)(反之不一定)
2. 相关系数
- 相关系数：设\((X,Y)\)为二维随机变量，如果\(D(X),D(Y)>0\)，则称\(\rho_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}\)为随机变量\(X,Y\)的 相关系数
- 当\(\rho_{XY} = 0\)，称\(X,Y\)不相关
- 相关系数的意义
- \(\rho_{XY}\)是一个无量纲量
- \(X,Y\)相互独立\(\Longrightarrow X,Y\)不相关，但是反之不一定
- \(X,Y\) 不相关 \(\Longleftrightarrow\)
- \(Cov(X,Y)=0\)
- \(E(XY) = E(X)E(Y)\)
- \(D(X+Y) = D(X)+D(Y)\)
- 相关系数刻画了随机变量 \(Y\) 与 \(X\) 之间的 线性相关 程度: \(|\rho_{XY}|\) 的值越接近于 \(1\)， \(Y\) 与\(X\) 的线性相关程度越高； \(|\rho_{X,Y}|\) 的值越接近于\(0\)， \(Y\)与\(X\) 的线性相关程度较弱
- 对于 二维正态随机变量，二维随机变量的参数\(\rho\)实际上就是\(X\)与\(Y\)的相关系数， 且\(X\)与\(Y\)相互独立与不相关是 等价的
- 相关系数的性质
- \(|\rho_{XY}|\le 1\)
- \(|\rho_{XY}| = 1\Longleftrightarrow\exists a,b,P(Y=aX+b) = 1\)
4. 矩、协方差矩阵
1. 矩
- 矩：设\(X,Y\)为随机变量，\(k,l\)为正整数
- \(E(X^k)\)为\(X\)的\(k\)阶原点矩（\(k\)阶矩）
- \(E\{[X-E(X)]^k\}\)为\(X\)的\(k\)阶中心矩
- \(E(X^kY^l)\)为\(X\)的\(k+l\)阶混合矩
- \(E\{[X-E(X)]^k[Y-E(Y)]^k\}\)为\(X\)的\(k+l\)阶混合中心矩
- 对于之前的数字特征
- \(E(X)\)是\(X\)的一阶原点矩
- \(D(X)\)是\(X\)的二阶中心矩
- \(Cov(X,Y)\)是\(X\)和\(Y\)的二阶混合中心矩
2. 协方差矩阵
- 协方差矩阵：设\(n\)维随机变量\((X_1,X_2,\cdots,X_n)\)的二阶混合中心矩都存在，则矩阵\(C\)为\(n\)维随机变量的 协方差矩阵，其中\(c_{ij}=Cov(X_i,Y_j)\)\[C= \begin{bmatrix} c_{11}& c_{12}& \cdots & c_{1n} \\ c_{21}& c_{22}& \cdots & c_{2n} \\ \vdots & \vdots & \ddots & \vdots \\ c_{n1}& c_{n2}& \cdots & c_{nn} \end{bmatrix} \]
- 协方差矩阵的性质
- \(C\)是对称矩阵：\(C^T=C\)
- \(C\)是半正定矩阵
- \(n\)维正态随机变量\((X_1,X_2,\cdots,X_n)\)的概率密度表示为\[f(x_1,x_2,\dots,x_n) = \frac{1}{(2\pi)^{n/2}(\det C)^{1/2}}e^{-\frac{1}{2}(x-\mu)^TC^{-1}(x-\mu)} \]其中\[x = (x_1,x_2,\cdots,x_n)^T,\mu = (\mu_1,\mu_2,\cdots,\mu_n)^T \]
\(n\)维正态随机变量的 性质
- \(n\)维正态随机变量\((X_1,X_2,\cdots,X_n)\)的每一个分量\(X_i\)都是正态随机变量
- 如果\(X_1,X_2,\cdots,X_n\)都是正态随机变量而且相互独立，那么\((X_1,X_2,\cdots,X_n)\)是\(n\)维正态随机变量
- \(n\)维随机变量\((X_1,X_2,\cdots,X_n)\)服从\(n\)维正态分布的充要条件：\(X_1,X_2,\cdots,X_n\)的任意的线性组合\(l_1X_1+l_2X_2+\cdots+l_nX_n\)服从一维正态分布
- 如果\((X_1,X_2,\cdots,X_n)\)服从\(n\)正态分布，设\(Y_1,\dots,Y_k\)是\(X_i\)的线性函数，那么\((Y_1,\dots,Y_k)\)也服从多维正态分布
- 如果\((X_1,X_2,\cdots,X_n)\)服从\(n\)正态分布，则独立性和不相关 等价
