概率笔记 P06：数理统计的基本概念

1 基本概念

概念：总体、样本、统计量（以样本作为输入，经过一个不含其它未知量的函数，所得的量）

样本数字特征

• 样本均值 \(\overline{X} = \cfrac 1n \displaystyle \sum_{i=1}^n X_i\)

• 样本方差 \(S^2 = \cfrac 1{n-1} \displaystyle \sum_{i=1}^n (X_i - \overline{X})^2\)

• 样本标准差 \(S = \sqrt{\cfrac 1{n-1} \displaystyle \sum_{i=1}^n (X_i - \overline{X})^2}\)

• 样本\(k\)阶原点矩 \(A_k = \cfrac 1n \displaystyle \sum_{i=1}^n X_i^k ,k = 1, 2, A_1 = \overline{X}\)

• 样本\(k\)阶中心矩 \(B_k = \cfrac 1n \displaystyle \sum_{i=1}^n (X_i - \overline{X})^k, k = 1, 2, B_2 = \cfrac {n-1}n S^2 \neq S^2\)

• 顺序统计量 将样本\(X_1,X_2,\cdots,X_n\)按从小到大的顺序排列，第\(k\)个称为第\(k\)顺序统计量，记作\(X_{(k)}\)。

  \(X_{(1)} = \min(X_1,X_2,\cdots,X_n), X_{(n)} = \max(X_1,X_2,\cdots,X_n)\)

样本数字特征的性质

• 若总体\(X\)具有数学期望\(E(X) = \mu\)，则\(E(\overline{X}) = E(X) = \mu\)
• 若总体\(X\)具有方差\(D(X) = \sigma^2\)，则\(D(\overline{X}) = \cfrac 1n D(X) = \cfrac {\sigma^2}n, E(S^2) = D(X) = \sigma^2\)
• 若总体\(X\)的\(k\)阶原点矩\(E(X^k) = \mu_k, k = 1, 2, \cdots\)存在，则\(\displaystyle \lim_{n \to +\infty} \cfrac 1n \sum_{i=1}^n X_i^k = \mu_k, k = 1, 2, \cdots\)

2 常用统计抽样分布和正态总体的抽样分布

\(\chi^2\)分布

• 定义：设随机变量\(X_1, X_2, \cdots, X_n\)相互独立且均服从标准正态分布\(N(0, 1)\)，则称随机变量\(\chi^2 = X_1^2 + X_2^2 + \cdots + X_n^2\)服从自由度为\(n\)的\(\chi^2\)分布，记作\(\chi^2 \sim \chi^2(n)\)。
• 性质：
  • 设\(\chi^2 \sim \chi^2(n)\)，则\(E(\chi^2) = n, D(\chi^2) = 2n\)
  • 设\(\chi_1^2 \sim \chi^2(n_1), \chi_2^2 \sim \chi^2(n_2)\)，且\(\chi_1^2, \chi_2^2\)相互独立，则\(\chi_1^2 + \chi_2^2 \sim \chi^2(n_1 + n_2)\)
  • 设\(\chi^2 \sim \chi^2(n)\)，对给定的\(\alpha (0 \lt \alpha \lt 1)\)，称满足条件\(\displaystyle P \{ \chi^2 \gt \chi_\alpha^2(n) \} = \int_{\chi_\alpha^2(n)}^{+\infty} f(x)dx = \alpha\)的点\(\chi_\alpha^2 (n)\)为\(\chi^2(n)\)分布的上\(\alpha\)分位点。

\(t\)分布

• 定义：设随机变量\(X, Y\)相互独立，且\(X \sim N(0, 1), Y \sim \chi^2(n)\)，则称随机变量\(T = \cfrac X{\sqrt{Y/n}}\)服从自由度为\(n\)的\(t\)分布，记作\(T \sim t(n)\)。
• 性质：
  • \(t\)分布的概率密度\(f(x)\)是偶函数，且当\(n\)充分大时，\(t(n)\)分布近似于\(N(0, 1)\)分布。
  • 设\(T \sim t(n)\)，对给定的\(\alpha (0 \lt \alpha \lt 1)\)，称满足条件\(\displaystyle P \{ T \gt t_\alpha(n) \} = \int_{t_\alpha(n)}^{+\infty} f(x)dx = \alpha\)的点\(t_\alpha(n)\)为\(t(n)\)分布的上\(\alpha\)分位点。
  • \(t_{1-\alpha} (n) = - t_{\alpha} (n)\)

\(F\)分布

• 定义：设随机变量\(X, Y\)相互独立，且\(X \sim \chi^2(n_1), Y \sim \chi^2(n_2)\)，则称随机变量\(F = \cfrac {X/n_1}{Y/n_2}\)服从自由度为\((n_1, n_2)\)的\(F\)分布，记作\(F \sim F(n_1, n_2)\)，其中\(n_1\)和\(n_2\)分别成为第一自由度和第二自由度。
• 性质：
  • 设\(F \sim F(n_1, n_2)\)，对给定的\(\alpha (0 \lt \alpha \lt 1)\)，称满足条件\(P \{F \gt F_\alpha (n_1, n_2) \} = \displaystyle \int_{F_\alpha (n_1, n_2)}^{+\infty} f(x)dx = \alpha\)的点\(F_\alpha(n_1, n_2)\)为\(F(n_1, n_2)\)分布的上\(\alpha\)分位点。
  • 若\(F \sim F(n_1, n_2)\)，则\(\cfrac 1F \sim F(n_2, n_1)\)，且有\(F_{1-\alpha} (n_1, n_2) = \cfrac 1{F_\alpha (n_2, n_1)}\)。

一个正态总体的抽样分布

设总体\(X \sim N(\mu, \sigma^2)\)，\(X_1, X_2, \cdots, X_n\)是来自总体的样本，样本均值为\(\overline{X}\)，样本方差为\(S^2\)，则有：

• \(\overline{X}\)和\(S^2\)相互独立
• （已知\(\sigma\)求\(\mu\)）\(\overline{X} \sim N(\mu, \cfrac {\sigma^2}n) \to U = \cfrac {\overline{X} - \mu}{\sigma / \sqrt{n}} \sim N(0, 1)\)
• （未知\(\sigma\)求\(\mu\)）\(U = \cfrac {\overline{X} - \mu}{\sigma / \sqrt{n}} \sim N(0, 1)\)，\(\chi^2 = \cfrac {(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)\)，\(T = \cfrac {U}{\sqrt{\chi^2/(n-1)}} = \cfrac {\overline{X} - \mu}{S/\sqrt{n}} \sim t(n-1)\)，另外\(F = \cfrac {U^2/1}{\chi^2/(n-1)} = \cfrac {n(\overline{X} - \mu)}{S^2} \sim F(1, n-1)\)
• （已知\(\mu\)求\(\sigma\)）\(\cfrac {X_i - \mu}{\sigma} \sim N(0,1) \to \\ \chi^2 = \displaystyle \sum_{i=1}^n (\cfrac {X_i - \mu}{\sigma})^2 = \cfrac 1{\sigma^2} \sum_{i=1}^n (X_i - \mu)^2 \sim \chi^2(n)\)
• （未知\(\mu\)求\(\sigma\)）\(\chi^2 = \cfrac {(n-1)S^2}{\sigma^2} \sim \chi^2(n-1)\)。（证明很麻烦）

两个正态总体的抽样分布

设总体\(X \sim N(\mu_1, \sigma_1^2)\)和总体\(Y \sim N(\mu_2, \sigma_2^2)\)，\(X_1, X_2, \cdots, X_n\)和\(Y_1, Y_2, \cdots, Y_n\)是分别来自总体\(X\)和\(Y\)的样本且相互独立，样本均值分别为\(\overline{X}\)和\(\overline{Y}\)，样本方差为\(S_1^2\)和\(S_2^2\)，则有：

• \(\overline{X} - \overline{Y} \sim N \left(\mu_1 - \mu_2, \cfrac {\sigma_1^2}{n_1} + \cfrac {\sigma_2^2}{n_2} \right) \\ U = \cfrac {(\overline{X} - \overline{Y}) - (\mu_1 - \mu_2)}{\sqrt{\cfrac {\sigma_1^2}{n_1} + \cfrac {\sigma_2^2}{n_2}}} \sim N(0, 1)\)
• 若\(\sigma_1^2 = \sigma_2^2\)，则\(T = \cfrac {(\overline{X} - \overline{Y}) - (\mu_1 - \mu_2)}{S_\omega \sqrt{\cfrac 1{n_1} + \cfrac 1{n_2}}} \sim t(n_1 + n_2 - 2)\)，其中\(S_\omega^2 = \cfrac {(n_1 - 1)S_1^2 + (n_2 - 1)S_2^2}{n_1 + n_2 -2}\)
• \(F = \cfrac {\cfrac 1{n_1 \sigma_1^2} \displaystyle \sum_{i=1}^{n_1} (X_i - \mu_1)}{\cfrac 1{n_2 \sigma_2^2} \displaystyle \sum_{i=1}^{n_2} (Y_i - \mu_2)} \sim F(n_1, n_2)\)
• \(F = \cfrac {S_1^2 / \sigma_1^2}{S_2^2 / \sigma_2^2} \sim F(n_1 - 1, n_2 - 1)\)