园龄：20天粉丝：0 关注：0

【学习笔记】概率论与数理统计 PMS Chapter 2 随机变量及其分布

PMS Chapter 2 随机变量及其分布

PMS Chapter 2 随机变量及其分布

2.1 随机变量

2.2 离散型随机变量及其分布律

定义：概率分布的定义，或称分布律/分布列：

\[P\{X=x_k\}=p_k,\;\;k=1,2,3,... \]

要求：
- \(p_k\geq 0\).
- \(\sum_{k=1}^{\infty}p_k=1\).
常见离散型分布：
1. 0 - 1分布：
  
  \[P\{X=k\}=p^k(1-p)^{1-k},k=0,1. \]
2. 二项分布：对 \(n\) 重伯努利实验，\(P(A)=p\)，\(X\) 表示是 \(A\) 发生的次数，则
  
  \[P\{X=k\}=C_n^kp^k(1-p)^{n-k}=C_n^kp^kq^{n-k},k=0,1,2,...,n \]
  记作 \(X\sim B(n,p)\)。
  
  \[\sum_{k=0}^{n}C_n^kp^kq^{n-k}=(p+q)^n=1 \]
  
  0 - 1分布是二项分布在 \(n=1\) 时的特殊情况。
- 结论：若 \(X\sim B(n,p)\)，当 \(X=k_0\)，\((n+1)p-1\leq k_0\leq (n+1)p,k\in N\) 时，\(P(X=k_0)\) 最大.
1. 泊松分布：
  
  \[P\{X=k\}=\frac{{\lambda}^k}{k!}e^{-\lambda},k=0,1,2,...,\lambda>0 \]
  记作 \(X\sim P(\lambda)\)。
  
  \[\sum_{k=0}^{\infty}p_k=\sum_{k=0}^{\infty}\frac{{\lambda}^k}{k!}e^{-\lambda}=e^{-\lambda}\sum_{k=0}^{\infty}\frac{{\lambda}^k}{k!}=e^{-\lambda}\cdot e^{\lambda}=1 \]
  - 泊松定理：对二项分布\(X\sim B(n,p)\)，若 \(n\) 比较大且 \(p\) 比较小，此时二项分布可用泊松分布做近似，\(\lambda = pn\).
2. 几何分布：\(P(A)=p\)
  
  \[P\{X=k\}=(1-p)^{k-1}p,k=1,2,3,... \]
  记作 \(X\sim G(p)\)。
  
  \[\sum_{k=1}^{\infty}P_k=\sum_{k=1}^{\infty}(1-p)^{k-1}p=p\frac{1}{1-(1-p)}=1 \]
3. 超几何分布：对 \(N\) 个元素分两类，包含 \(N_1\) 个第一类和 \(N_2\) 个第二类。从中取出 \(n\) 个元素。\(X\) : \(n\) 个元素中从第一类取的个数.
  
  \[P\{X=k\}=\frac{C_{N_1}^kC_{N_2}^{n-k}}{C_N^n},k=0,1,2,...,min\{n,N_1\} \]
  - 当 \(N\) 较大， \(n\) 对 \(N\) 较小，则超几何分布可近似看做二项分布，\(p=\frac{N_1}{N}\).

2.3 随机变量的分布函数

分布函数定义：若 \(X\) 为随机变量，\(F(x)=P\{X\leq x\},x\in (-\infty,\infty)\) .
性质：
- \(0\leq F(x)\leq 1\)，\(F(-\infty)=0\)，\(F(\infty)=1\).
- \(F(x)\) 是不递减函数，\(\forall x_1 <x_2, \, F(x_1)\leq F(x_2)\).
- \(F(x)\) 右连续，\(F(x+0)=F(x)\).

2.4 连续型随机变量及其概率密度函数

定义：若 \(X\) 为随机变量，存在非负可积函数 \(f(x)\)，\(f(x)\geq 0\)，使 \(\forall a\leq b\)，\(P\{a<x\leq b\}=\int_a^bf(x)\,dx\)，其中 \(f(x)\) 称为概率分布密度函数.
性质：
- \(f(x)\geq 0\).
- \(\int_{-\infty}^{\infty}f(x)\, dx=1\).
- 连续型随机变量取个别点的概率为 \(0\)，即 \(P\{X=x_0\}=0\).
  
  \[0\leq P\{X=x_0\}\leq P\{x_0-\Delta\,x<X\leq x_0\}=\int_{x_0-\Delta\,x}^{x_0}f(x)\,dx=0 \]
  因此，\(P\{a<X\leq b\}=P\{a\leq X\leq b\}=P\{a<X<b\}=P\{a\leq X<b\}\).
- \(F(x)=P\{X\leq x\}=\int_{-\infty}^{x}f(x)\,dx\).
- 连续型随机变量应看取某个区间的概率，即\(P\{a<X\leq b\}=\int_a^bf(x)\,dx\).
- 连续型随机变量概率分布函数连续，即\(F(x)=\int_{-\infty}^xf(x)\,dx\) 是连续的.
  
  \[\lim_{\Delta x\to 0}F(x_0+\Delta x)=\lim_{\Delta x\to 0}\int_{-\infty}^{x_0+\Delta x}f(x)dx=\lim_{\Delta x\to 0}(\int_{-\infty}^{x_0}f(x)\,dx+\int_{x_0}^{x_0+\Delta x}f(x)\,dx) = F(x_0) \]
- 离散型随机变量 \(F(x)\) 不连续.
- 对 \(f(x)\) 的连续点 \(x\)，\(F'(x)=f(x)\).
  
  \[f(x)=\lim_{\Delta x\to 0}\frac{P\{x<X\leq x+\Delta x\}}{\Delta x}=\lim_{\Delta x\to 0}\frac{F(x+\Delta x)-F(x)}{\Delta x}=F'(x) \]

对连续型随机变量：

\(f(x)\)	\(F(x)\)
\(0\leq f(x)\)，\(\int_{-\infty}^{\infty}f(x)\,dx=1\)	\(0\leq F(x)\leq 1\)
\(f(x)\) 可积，不一定连续	\(F(x)\) 在 \((-\infty,\infty)\)一定连续
\(f(x)\) 可以是减函数	\(F(x)\) 一定是不减函数

常见的连续型随机变量：
1. 均匀分布：
  
  \[X\sim f(x) = \begin{cases} \frac{1}{b-a} & \,, a\leq x\leq b, \\ 0 &\,, \text{else}. \end{cases} \]
  记作 \(X\sim U[a,b]\).
  
  \(\frac{1}{b-a}\) 表示区间长度的倒数.
  
  \[F(x) = \begin{cases} 0 & \,, x<a, \\ \frac{x-a}{b-a} &\,, a\leq x<b,\\ 1 &\,,b\leq x. \end{cases} \]
2. 指数分布：
  
  \[X\sim f(x) = \begin{cases} \lambda e^{-\lambda x} &\,,x>0, \\ 0 &\,, x\leq 0. \end{cases}\,,\lambda>0 \]
  记作 \(X\sim E(\lambda)\).
  
  \[F(x) = \begin{cases} 0 &\,, x<0, \\ 1-e^{-\lambda x} &\,, x\geq 0. \end{cases} \]
  - 指数分布的无记忆性：
    \[\forall\,s>0,t>0,\text{有}P\{X>s+t|X>s\}=P\{X>t\} \]
3. 正态分布：
  
  \[X\sim f(x)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2{\sigma}^2}},-\infty\leq x\leq\infty\,,\sigma>0 \]
  记作 \(X\sim N(\mu,{\sigma}^2)\).
  
  \[F(x)=\frac{1}{\sqrt{2\pi}\sigma}\int_{-\infty}^{x}e^{-\frac{(x-\mu)^2}{2{\sigma}^2}}\,dx,-\infty\leq x\leq\infty \]
  
  注：\(\int_{-\infty}^{\infty}e^{-x^2}\,dx=\sqrt{\pi}\).
  - 正态分布图像特点：
    - 以 \(x=\mu\) 为对称轴的钟型曲线。
    - \(x<\mu\) 时，\(f(x)\) 单调递增；\(x>\mu\) 时，\(f(x)\) 单调递减。拐点为 \((\mu\pm\sigma,\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{1}{2}})\).
    - 图像根据 \(\mu\) 的变化左右移动。图像的最大值为 \(\frac{1}{\sqrt{2\pi}\sigma}\)，\(\sigma\) 越小，最大值越大。\(\sigma\) 表示了取值的分散程度.
  - 标准正态分布 \(N(0,1)\)：
    - 密度函数用 \(\phi (x)=\frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}\) 表示，分布函数用 \(\Phi (x)\) 表示.
    - \(\phi (-x)=\phi (x)\).
    - \(\Phi (-x)=1-\Phi (x)\Rightarrow\Phi(0)=\frac{1}{2}\).
    - \(P\{|X|\leq x\}=P\{-x\leq X\leq x\}=\Phi(x)-\Phi(-x)=\Phi(x)-(1-\Phi(x))=2\Phi(x)-1\).
      - \(\phi(-1)=\phi(1)=0.242\).
        
        \(\phi(0)\approx0.3989\).
        
        \(\phi(5)\approx0\).
      - \(\Phi(-1)=1-\Phi(1)=0.1587\).
        
        \(\Phi(0)=\frac{1}{2}\).
        
        \(\Phi(5)=1\).
        
        \(P\{|X|\leq 1.96\}=2\Phi(1.96)-1=0.95\).
        
        \(P\{-1.65<X<1\}=\Phi(1)-\Phi(-1.65)=\Phi(1)-(1-\Phi(1.65))=0.79183\).
  - 一般正态分布定理：
    
    \(X\sim N(\mu,{\sigma}^2)\)，\(f(x)\)，\(F(x)\)
    - \(f(x)=\frac{1}{\sigma}\phi(\frac{x-\mu}{\sigma})\)，\(F(x)=\Phi(\frac{x-\mu}{\sigma})\).
    - \(Y=\frac{x-\mu}{\sigma},Y\sim N(0,1)\)；\(P\{a\leq X\leq b\}=P\{\frac{a-\mu}{\sigma}\leq \frac{X-\mu}{\sigma}=Y\leq\frac{b-\mu}{\sigma}\}=\Phi(\frac{b-\mu}{\sigma})-\Phi(\frac{a-\mu}{\sigma})\).
  - \(3\sigma\) 原则：
    - \(P\{|x-\mu|<\sigma\}=0.6826\).
    - \(P\{|x-\mu|<2\sigma\}=0.9545\).
    - \(P\{|x-\mu|<3\sigma\}=0.9974\).

2.5 随机变量函数分布

2.5.1 离散型随机变量函数的分布

2.5.2 连续性随机变量函数的分布

定义法：

例：若 \(X\sim U[0,1]\)，\(Y=e^x\)，求 \(f_Y(y)\).
1. \(y<1\) 时，\(F_Y(y)=P\{Y<y\}=0\).
2. \(1\leq y\leq e\) 时，\(F_Y(y)=P\{Y\leq y\}=P\{e^x\leq y\}=P\{X\leq lny\}=\int_{-\infty}^{lny}f_X(x)\,dx=\int_{-\infty}^{0}\,dx+\int_{0}^{lny}1\,dx=lny\)
3. \(y>e\) 时，\(F_y(y)=1\).
因此 \(F_Y(y)=\begin{cases} 0 &\,, y<1, \\ lny &\,, 1\leq y<e,\\ 1&\,, y\geq e.\end{cases}\)

则 \(f_Y(y)=\begin{cases} \frac{1}{y} &\,, 1\leq y\leq e,\\ 0 &\,, else.\end{cases}\)
公式法：

若 \(y=g(x)\) 单调可导，\(Y=g(x)\)，\(y=g(x)\) 值域为 \([\alpha,\beta]\)，\(g’(x)\neq 0\)，\(y=g(x)\) 的反函数为 \(x=h(y)\)，则：

\[f_Y(y)=\begin{cases} f_X[h(y)]\cdot|h'(y)| &\,, -\alpha\leq y\leq\beta, \\ 0 &\,, else. \end{cases} \]