信息学中的概率统计

目录

• 离散型随机变量常见分布
  • (1)01 分布
  • (2)二项分布
  • (3)几何分布
  • (4)Pascal分布（负二项分布）
  • (5)超几何分布
  • (6)泊松分布
• 连续型随机变量常见分布
  • (1)均匀分布
  • (2)指数分布
  • (3)正态分布
  • (4)​$\Gamma$​分布
• 联合密度
  • 雅可比行列式
• 期望方差相关
  • 期望性质
  • 方差性质
  • 协方差性质
  • 相关系数性质
  • 协方差矩阵
• 概率极限理论
  • 随机变量序列的收敛性
  • 大数定律
  • 中心极限定理
• 常用统计量
• 来自正态总体的常用统计量及其分布
  • (1) ​$\chi^2$​ 分布
  • (2)$t(n)$分布（$n$为自由度）
  • (3)$F(n,m)$分布（$n$、$m$分别为第一、二自由度）
• 正态总体之样本均值于样本方差的一些结论
  • 结论1
  • 结论2
  • 结论3
  • 证明2、3
  • 结论4
  • 结论5
  • 结论6
• 点估计
  • (1)矩估计
  • (2)极大似然估计
• 估计量的评价
  • 无偏性
  • 有效性
  • 一致性
• 区间估计
  • 置信区间与置信度
  • 正态总体置信区间
  • 非正态总体的置信区间
• 假设检验
  • 显著性水平
  • 假设检验步骤
  • 两类错误概率及检验的评价准则
  • 正态总体的假设检验（参数检验）
  • 总体分布的假设检验（非参数检验）
• 方差分析
  • 单因素方差分析（实验次数相等）
  • 单因素方差分析（实验次数不等）
  • 双因子方差分析（双因子间无交互作用）
  • 双因子方差分析（双因子间有交互作用）
• 回归分析
  • 一元线性回归模型
  • 回归方程的显著性检验
  • 多元线性回归

概率

回到顶部

离散型随机变量常见分布

(1)01 分布

$$P(X=k)=p^k(1-p)^{1-k}$$

$$E(X)=p$$

$$D(X)=p(1-p)$$

(2)二项分布

记作 ​$X\sim B(n,p)$​

$$P(X=k)=\binom{n}{k}p^k(1-p)^{n-k}$$

$$E(X)=np$$

$$D(X)=np(1-p)$$

(3)几何分布

称 ​$X$​ 为服从参数为 ​$p$​ 的几何分布

$$P(X=k)=(1-p)^{k-1}p$$

$$E(X)=\frac 1p$$

$$D(X)=\frac {1-p}{p^2}$$

(4)Pascal分布（负二项分布）

$$P(X=k)=\binom{k-1}{r-1}p^r(1-p)^{k-r}$$

组合意义是 ​$X$​ 是第 ​$r$​ 次事件 ​$A$​ 发生的时刻

(5)超几何分布

设一批产品数为 ​$N$​，次品 ​$M$​ 个，不放回抽样 ​$n$​ 个，其中次品数为随机变量 ​$X$​

$$P(X=k)=\frac{\binom Mk\binom{N-m}{n-k}}{\binom Nn}$$

(6)泊松分布

$$P(X=k)=e^{-\lambda} \frac{\lambda^k}{k!}$$

记作 ​$X\sim\pi(\lambda)$​ 或 ​$P(\lambda)$​

$$E(X)=D(X)=\lambda$$

泊松定理

设 ​$X\sim B(n,p_n),n=1,2,\dots$​

又设 ​$np_n\to\lambda>0$​，则对固定的 ​$k$​

$$\lim_{n\to +\infty}\binom{n}{k} p^k(1-p)^{n-k}=e^{-\lambda}\frac{\lambda^k}{k!}$$

回到顶部

连续型随机变量常见分布

如没有特殊说明，​$f(x)$​ 是概率密度函数，​$F(x)$​ 是概率分布函数

(1)均匀分布

$$f(x)=\frac 1{b-a},(a<x<b)$$

记作 ​$X\sim U(a,b)$​

$$E(X)=\frac {a+b}{2}$$

$$D(X)=\frac{(b-a)^2}{12}$$

(2)指数分布

$$f(x)=\lambda e^{-\lambda x},x\ge 0$$

$$F(x)=1-e^{-\lambda x},x\ge 0$$

记作 ​$X\sim E(\lambda)$​

对于任意 ​$0<a<b$​，​$P(a<X<b)=e^{-\lambda a}-e^{-\lambda b}$​

$$E(X)=\frac 1\lambda$$

$$D(X)=\frac 1{\lambda^2}$$

(3)正态分布

$$f(x)=\frac 1{\sqrt{2\pi}\sigma}e^{-\frac {(x-\mu)^2}{2\sigma^2}}$$

记作 ​$X\sim N(\mu,\sigma^2)$​

$$E(X)=\mu$$

$$D(X)=\sigma^2$$

正态分布相加还是正态分布，即 $X\sim N(\mu_1,\sigma_1^2)$，$Y\sim N(\mu_2,\sigma_2^2)$，且 $X,Y$ 独立，则 $X\pm Y\sim N(\mu_1\pm \mu_2,\sigma_1^2+\sigma_2^2)$

(4)​$\Gamma$​分布

$$f(x)=\frac{\beta^{\alpha}}{\Gamma(\alpha)}x^{\alpha-1}e^{-\beta x},x>0$$

记作 ​$X\sim\Gamma(\alpha,\beta)$​，其中

$$\Gamma(\alpha)=\int_{0}^{+\infty}x^{\alpha-1}e^{-x}\mathrm dx$$

当 ​$\alpha=1$​ 时，​$\Gamma(\alpha,\beta)$​ 退化为 ​$E(\beta)$​

当 ​$\alpha=\frac n2,\beta=\frac 12$​ 时，​$\Gamma(\alpha,\beta)$​ 退化为自由度为 ​$n$​ 的 ​$\chi^2$​ 分布，记作 ​$X\sim\chi^2(n)$​，即 ​$\Gamma(\frac n2,\frac 12)=\chi^2(n)$​

$$E(X)=\frac{\alpha}{\beta}$$

$$D(X)=\frac{\alpha}{\beta^2}$$

性质

(i)​$\Gamma(\alpha+1)=\alpha\Gamma(\alpha)$​

(ii)对于任意正整数，​$\Gamma(n+1)=n!$​

(iii)​$\Gamma(\frac 12)=\pi^{\frac 12}$​

验证

$$\begin{aligned} \int_{0}^{+\infty}f(x)\mathrm dx&=\frac 1{\Gamma(\alpha)}\int_{0}^{+\infty}(\beta x)^{\alpha-1}e^{-\beta x}\mathrm d\beta x\\ &=1 \end{aligned}$$

回到顶部

联合密度

雅可比行列式

已知 ​$X,Y$​ 的联合密度 ​$f_{XY}(x,y)$​，设 ​$Z=g(X,Y),U=r(X,Y)$​，存在唯一的反函数 ​$X=h(Z,U),Y=s(Z,U)$​，且 ​$h,s$​ 有连续的偏导数，记

$$J(z,u)=\begin{vmatrix}\frac{\partial h}{\partial z} & \frac{\partial h}{\partial u} \\ \frac{\partial s}{\partial z} & \frac{\partial s}{\partial u}\end{vmatrix}$$

那么 ​$f_{ZU}(z,u)=f_{XY}(h(z,u),s(z,u))|J(z,u)|$​，注意是取绝对值

回到顶部

期望方差相关

期望性质

​$E(X+Y)=E(X)+E(Y)$​

​$X,Y$​ 独立 ​$\Rightarrow E(XY)=E(X)E(Y)$​，逆命题不真

​$E(XY)^2\le E(X^2)E(Y^2)$​，许瓦尔兹（Schwarz）不等式

许瓦尔兹（Schwarz）不等式证明

​$\forall\lambda,E((\lambda X+Y)^2)=\lambda^2E(X^2)+2\lambda E(XY)+E(Y^2)\ge 0\Rightarrow\Delta\le 0\Rightarrow E(XY)^2\le E(X^2)E(Y^2)$​

方差性质

​$D(aX+b)=a^2D(X)$​

​$D(X\pm Y)=D(X)+D(Y)\pm 2E((X-E(X))(Y-E(Y)))$​

若 ​$X$​ 和 ​$Y$​ 独立，则 ​$D(X\pm Y)=D(X)+D(Y)$​，反之不成立，于是有若 ​$X_1,\dots,X_n$​ 独立，​$D(\sum a_iX_i+b)=\sum a_i^2D(X_i)$​。

对于任意常数 ​$C$​，​$D(X)\le E(X-C)^2$​，取等当且仅当 ​$C=E(X)$​

协方差性质

若 ​$E((X-E(X))(Y-E(Y)))$​ 存在，称为 ​$X$​ 和 ​$Y$​ 的协方差，记作 ​$\text{cov}(X,Y)$​

​$\text{cov}(X,Y)=\text{cov}(Y,X)=E(XY)-E(X)E(Y)$​

​$\text{cov}(X,X)=D(X)$​

​$\text{cov}(a_1X+b_1,a_2X+b_2)=a_1a_2\text{cov}(X,Y)$​

​$\text{cov}(X+Y,Z)=\text{cov}(X,Z)+\text{cov}(Y,Z)$​

​$\text{cov}(X,Y)^2\le D(X)D(Y)$​，证明：展开后使用期望的最后一条性质——许瓦尔兹（Schwarz）不等式

相关系数性质

定义 ​$\rho(X,Y)=\frac{\text{cov}(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$​ 为 ​$X$​ 和 ​$Y$​ 的相关系数，即 ​$\rho(X,Y)=\text{cov}(X^∗,Y^∗)$​，即将 ​$X$​ 和 ​$Y$​ 标准化之后的协方差

​$\rho(X,Y)=0\Leftrightarrow\text{cov}(X,Y)=0\Leftrightarrow E(XY)=E(X)E(Y)\Leftrightarrow D(X\pm Y)=D(X)+D(Y)$​，但并不能说明独立，除非是 ​$X$​ 和 ​$Y$​ 服从二维正态分布

协方差矩阵

设 ​$n$​ 维随机变量 ​$(X_1,X_2,\dots,X_n)$​，记 ​$\sigma_{i,j}=\text{cov}(X_i,X_j)$​，若 ​$\sigma_{i,j}$​ 都存在，则称

$$\Sigma(X_1,X_2,\dots,X_n)=(\sigma_{i,j})$$

为 ​$(X_1,X_2,\dots,X_n)$​ 的协方差矩阵

(i)非负定

(ii)​$\sigma_{i,i}=D(X_i)$​

(iii)​$\sigma_{i,j}^2\le\sigma_{i,i}\sigma_{j,j}$​（协方差最后的一个性质）

协方差向量表示

​$\mathbf X=(X_1,X_2,\dots,X_n)^T,E(\mathbf X)=(EX_1,EX_2,\dots,EX_n)^T$​

那么 ​$\Sigma(\mathbf X)=E((X-EX)(X-EX)^T)$​

​$𝐧$​ 维正态分布的向量表示

对于 ​$n$​ 维正态随机变量 ​$(X_1,X_2,\dots,X_n)$​，其分布可表示为 ​$(X_1,X_2,\dots,X_n)\sim N(\mathrm{\mu},\Sigma)$​，其中 ​$\mathrm{\mu}=(\mu_1,\mu_2,\dots,\mu_n)$​ 是 ​$n$​ 维期望向量，​$\Sigma$​ 是协方差矩阵

记 ​$\mathrm{x}=(x_1,x_2,\dots,x_n)$​，那么

$$f(x_1,x_2,\dots,x_n)=\frac{1}{(2\pi)^{\frac n2}|\Sigma|^{\frac 12}}e^{-\frac 12(\mathrm x-\mathrm \mu)^T\Sigma^{-1}(\mathrm x-\mathrm \mu)}$$

线性变换下的协方差（矩阵）

设 ​$Y=AX$​，​$A$​ 是非退化的 ​$n$​ 阶矩阵

$$\begin{aligned} \Sigma(Y)&=E((Y-EY)(Y-EY)^T)\\ &=E(A(X-EX)(X-EX)^TA^T)\\ &=A\Sigma(X)A^T \end{aligned}$$

回到顶部

概率极限理论

随机变量序列的收敛性

对于概率空间 $(\Omega,F,P)$ 上的随机变量序列 $\{X_n\}$ 和随机变量 $X$

(1)概率为 ​$𝟏$​ 地收敛于 ​$𝐗$​

如果 ​$P(\lim_{n\to\infty}X_n=X)=1$​，则称 $\{X_n\}$ 概率为 $1$ 的收敛于 $X$

记作 ​$\lim_{n\to\infty}X_n\overset{a.e}{=}X$​ 或 ​$X_n\overset{a.e}{\to}X$​

另一种说法：令 $A=\{\omega \mid \lim_{n\to \infty}X_n(\omega)=X(\omega)\}$ 是一个随机事件，则 $\lim_{n\to\infty}X_n\overset{a.e}{=}X\Leftrightarrow P(A)=1$

(2)依概率收敛于 $X$

如果 $\forall \varepsilon>0,\lim_{n\to \infty}P(|X_n-X|<\varepsilon)=1$，则称 $\{X_n\}$ 依概率收敛于 $X$

记作 $\lim_{n\to \infty}X_n\overset{P}{=}X$ 或 $X_n\overset P\to X$

另一种说法：$A_{n,\varepsilon}=\{\omega\mid |X_n(\omega)-X(\omega)|<\varepsilon\}$，则 $\lim_{n\to \infty}\overset P=X\Leftrightarrow \forall \varepsilon>0,\lim_{n\to \infty}P(A_{n,\varepsilon})=1$

(3)依分布收敛

$\{X_n\}$ 相应分布函数序列收敛

记作 $\lim_{n\to \infty}X_n\overset{d}{=}X$ 或 $X_n\overset d\to X$

大数定律

重要不等式

设非负随机变量 $X$ 的期望 $E(X)$ 存在，则对于任意实数 $\varepsilon>0$，有

$$P(X\ge \varepsilon)\le \frac{E(X)}{\varepsilon}$$

证明：设 $A=\{\omega\mid X(\omega)\ge \varepsilon\}$，构造 $I_A(\omega)=[\omega \in A]$，显然有 $\varepsilon I_A(\omega)\le X(\omega)$，于是 $E(\varepsilon I_A)\le E(X)$，又有 $E(\varepsilon I_A)=\varepsilon E(I_A)=\varepsilon P(A)$，因此 $P(X\ge \varepsilon)\le \frac{E(X)}{\varepsilon}$

推论1：马尔可夫不等式

设 $E(|X|^k)$ 存在，有

$$P(|X|\ge \varepsilon)\le \frac{E(|X|^k)}{\varepsilon^k}$$

推论2：切比雪夫不等式

设 $D(X)$ 存在，有

$$P(|X-EX|\ge \varepsilon)\le \frac{D(X)}{\varepsilon^2}$$

大数定律定义

对于随机变量序列 $\{X_k\}$，每个 $E(X_k)$ 都存在，记 $\overline X_n=\frac 1n\sum_{k=1}^n X_k$

当 $n\to +\infty$，$\overline X_n-E(\overline X_n)\overset P\to 0$，则称 $\{X_k\}$ 服从大数定律

伯努利大数定律

$\{X_k=\text{第 k 次实验(0-1分布)}\}$ 服从大数定律

证明：设 $n_A=\sum_{k=1}^n X_k$，于是 $\overline X_n=\frac {n_A}n$。$\forall \varepsilon>0$，$P(\overline X_n-E(\overline X_n))\ge \varepsilon\le \frac{D(\overline X_n)}{\varepsilon^2}=\frac {p(1-p)}{n\varepsilon^2}\to 0，(n\to \infty)$

切比雪夫大数定律

设 $X_1,X_2,\dots,X_n$ 独立，且具有相同的数学期望 $\mu$ 和方差 $\sigma^2$

则 $\{X_1,X_2,\dots,X_n\}$ 服从大数定律

证明：和伯努利大叔定律的证明类似

扩展结论1

如果 $X_k$ 互相独立，但不具有相同的数学期望的方差时，可设 $E(X_k)=\mu_k,D(X_k)=\sigma_k^2\le \sigma^2$

有 $\forall \varepsilon>0,\lim_{n\to \infty}P(|\overline X_n-\frac 1n\sum_{k=1}^n\mu_k|\ge \varepsilon)=0$

扩展结论2

可以去掉 $X_k$ 相互独立，代之以 $\frac 1{n^2}D(\sum_{k=1}^n X_k)\overset{n\to \infty}\to 0$

辛钦大数定律

如果 $X_k$ 独立同分布，期望存在，则 $\{X_1,X_2,\dots,X_k\}$ 满足大数定律

强大数定律

在大数定律的基础上，如果是概率为 $1$ 的收敛，那么服从强大数定律

伯努利、辛钦都是强大数定律，切比雪夫要加入条件 $\sum_{k=1}^\infty \frac {D(X_n)}n^2$ 收敛才是强大数定律

中心极限定理

对于随机变量序列 $\{X_k\}$，如果 $\sum_{k=1}^nX_k$ 的标准化变量依分布收敛到正态分布，则称 $\{X_k\}$ 服从中心极限定理

独立同分布极限定理

$X_k$ 独立同分布，期望和方差都存在，那么序列服从中心极限定理

统计

回到顶部

常用统计量

$\overline X=\frac 1n\sum_{i=1}^n X_i$ 为样本均值

$S^2=\frac 1{n-1}\sum_{i=1}^n(X_i-\overline X)^2$ 为样本方差

$A_k=\frac 1n\sum_{i=1}^nX_i^k$ 为样本 $k$ 阶原点矩

$B_k=\frac 1n\sum_{i=1}^n (X_i-\overline X)^k$ 为样本 $k$ 阶中心矩

回到顶部

来自正态总体的常用统计量及其分布

(1) ​$\chi^2$​ 分布

设 $X_1,X_2,\dots,X_n$ 服从标准正态分布 $N(0,1)$

则统计量 $\chi^2=\sum_{i=1}^nX_i^2\sim \chi^2(n)$

$f(x)=\frac 1{2^{\frac n2}\Gamma(\frac n2)}e^{-\frac x2}x^{\frac n2-1}$，$x>0$

性质

(i) $E(\chi^2(n))=n,D(\chi^2(n))=2n$

(ii)若 $X_1\sim \chi^2(n_1),X_2\sim\chi^2(n_2)$ 且 $X_1,X_2$ 相互独立，那么 $X_1+X_2\sim \chi^2(n_1+n_2)$

(iii)$n\to \infty$，$\chi^2(n)\to$正态分布

(2)$t(n)$分布（$n$为自由度）

设 ​$X\sim N(0,1),Y\sim\chi^2(n)$​，​$X,Y$​ 相互独立

则统计量 $T=\frac{X}{\sqrt{Y/n}}\sim t(n)$ 为 $t$ 统计量，其分布称为自由度为 $n$ 的 $t$ 分布

其密度函数为 $f(t)=\frac{\Gamma(\frac{n+1}{2})}{\sqrt{n\pi}\Gamma(\frac n2)}(1+\frac{t^2}{n})^{-\frac{n+1}2}$，$-\infty<t<+\infty$，过程略，用雅可比行列式是可以求出来的

性质

(i)$f_n(t)$ 是偶函数

(ii)$n\to\infty$，$f_n(t)\to$ 标准正态分布

记 $t$ 的分位数为 $t_\alpha(n)$

(iii)$t_{1-\alpha}(n)=-t_\alpha(n)$

(iiii)n很大，$t_{\alpha}\approx u_{\alpha}$

(3)$F(n,m)$分布（$n$、$m$分别为第一、二自由度）

设 $X\sim \chi^2(n),Y\sim \chi^2(m)$，$X,Y$ 相互独立，则称：

$F=\frac{X/n}{Y/m}\sim F(n,m)$

为 $F$ 统计量，其分布称为第一、二自由度为 $n$、$m$ 的 $F$ 分布

其密度函数为

$$f(t,n,m)=\frac{\Gamma(\frac{n+m}{2})}{\Gamma(\frac n2)\Gamma(\frac m2)}(\frac nm)^{\frac n2}t^{\frac n2-1}(1+\frac nmt)^{-{\frac {n+m}2}},(t>0)$$

证明用雅可比行列式

性质

(i)若 $F\sim F(n,m)$，则 $\frac 1F\sim F(m,n)$

记 $F(n,m)$ 分布的上侧分位数为 $F_\alpha(n,m)$

(ii)$F_{1-\alpha}(n,m)=\frac 1{F_\alpha(m,n)}$

回到顶部

正态总体之样本均值于样本方差的一些结论

设总体 $X\sim N(\mu,\sigma^2)$，样本为 $(X_1,\dots,X_n)$

则样本均值

结论1

$\overline X\sim N(\mu,\frac{\sigma^2}n)$，即 $\frac{\overline X-\mu}{\sigma/\sqrt n}\sim N(0,1)$

同时有：

结论2

$\frac{(n-1)S^2}{\sigma^2}=\sum_{i=1}^n(\frac{X-\overline X}{\sigma})^2\sim \chi^2(n-1)$

结论3

$\frac{(n-1)S^2}{\sigma^2}$ 与 $\overline X$ 相互独立（或 $S^2$ 与 $\overline X$ 相互独立）

证明2、3

令 $Z_i=\frac{X_i-\mu}{\sigma}$，则 $Z_1,Z_2,\dots,Z_n\sim N(0,1)$，且互相独立

而 $\overline Z=\frac 1n\sum_{i=1}^nZ_i=\frac{\overline X-\mu}{\sigma}$

$\frac{(n-1)S^2}{\sigma^2}=\frac{\sum_{i=1}^n (X_i-\overline X)^2}{\sigma^2}=\sum_{i=1}^n(Z_i-\overline Z)^2=\sum_{i=1}^nZ_i^2-n\overline Z^2$

取正交矩阵 $A=(a_{i,j})$，其中 $a_{1,j}=\frac 1{\sqrt n}$

令 $Y=AZ$

由于 $Y_i=\sum_{j=1}^n a_{i,j}Z_j$，故 $Y_1,Y_2,\dots,Y_n\sim N(0,1)$，且有 $E(Y_i)=0$

又由 $\text{cov}(Z_i,Z_j)=[i=j]$，及 $A$ 正交，有：

$$\begin{aligned} \text{cov}(Y_i,Y_j)&=\text{cov}(\sum_{k=1}^na_{i,k}Z_k,\sum_{l=1}^na_{j,l}Z_l)\\ &=\sum_{k=1}^n\sum_{l=1}^na_{i,k}a_{j,l}\text{cov}(Z_k,Z_l)\\ &=\sum_{k=1}^n\sum_{l=1}^na_{i,k}a_{j,l}[k=l]\\ &=[i=j] \end{aligned}$$

于是，$Y_1,\dots,Y_n$ 相互独立（这里有点奇怪，$\text{cov}=0$ 不代表独立，可能是 $Y$ 生成方式导致的）

而 $Y_1=\sum_{j=1}a_{1,j}Z_j=\sqrt n \overline Z=\sqrt n\frac{\overline X-\mu}{\sigma}$

且 $\sum Y_i^2=Y^TY=Z^TA^TAZ=Z^TZ=\sum Z_i^2$

故 $\frac{(n-1)S^2}{\sigma^2}=\sum_{i=1}^nZ_i^2-n\overline Z^2=\sum_{i=1}^n Y_i^2-Y_1^2\sim \chi^2(n-1)$

$\overline X$ 只和 $Y_1$ 有关，$S^2$ 只和 $Y_2,\dots,Y_n$ 有关，因此相互独立

结论4

$$\frac{\overline X-\mu}{S/\sqrt n}=\frac{\overline X-\mu}{\sigma/\sqrt n}\div \frac S{\sigma}\sim t(n-1)$$

设 $X_1,\dots,X_n\sim N(\mu_1,\sigma_1^2)$，$Y_1,\dots,Y_m\sim N(\mu_2,\sigma_2^2)$，且所有随机变量相互独立

令 $S_1^2=\frac {1}{n-1}\sum_{i=1}^n(X_i-\overline X)^2,S_2^2=\frac {1}{m-1}\sum_{i=1}^m(Y_i-\overline Y)^2$

则 $\frac{(n-1)S_1^2}{\sigma_1^2}\sim \chi^2(n-1)$，$\frac{(m-1)S_2^2}{\sigma_2^2}\sim \chi^2(m-1)$

且相互独立，从而

结论5

$$\frac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2}\sim F(n-1,m-1)$$

结论6

若 $\sigma_1=\sigma_2=\sigma$，则有

$$\overline X=\frac 1n\sum_{i=1}^n X_i\sim N(\mu_1,\frac{\sigma^2}{n})$$

$$\overline Y=\frac 1m\sum_{i=1}^m Y_i\sim N(\mu_2,\frac{\sigma^2}{m})$$

$$\overline X-\overline Y\sim N(\mu_1-\mu_2,\frac {\sigma^2} n+\frac {\sigma^2} m)$$

标准化：

$$\frac{(\overline X-\overline Y)-(\mu_1-\mu_2)}{\sqrt{\frac {\sigma^2} n+\frac {\sigma^2} m}} \sim N(0,1)$$

又

$$\frac{(n-1)S_1^2}{\sigma^2}\sim \chi^2(n-1)$$

$$\frac{(m-1)S_2^2}{\sigma^2}\sim \chi^2(m-1)$$

且相互独立，根据 $\chi^2(n)$ 的可加性，有：

$$\frac{(n-1)S_1^2}{\sigma^2}+\frac{(m-1)S_2^2}{\sigma^2}\sim \chi^2(n+m-2)$$

而由结论3可知 $\overline X-\overline Y$ 和 $\frac{(n-1)S_1^2}{\sigma^2}+\frac{(m-1)S_2^2}{\sigma^2}$ 相互独立，因此：

$$\frac{\frac{(\overline X-\overline Y)-(\mu_1-\mu_2)}{\sqrt{\frac {\sigma^2} n+\frac {\sigma^2} m}}}{\sqrt{\frac{\frac{(n-1)S_1^2}{\sigma^2}+\frac{(m-1)S_2^2}{\sigma^2}}{n+m-2}}}\sim t(n+m-2)$$

化简一下：

$$\frac{(\overline X-\overline Y)-(\mu_1-\mu_2)}{\sqrt{\frac 1n+\frac 1m}\sqrt{\frac{(n-1)S_1^2+(m-1)S_2^2}{n+m-2}}}\sim t(n+m-2)$$

回到顶部

点估计

总体 ​​$X$​​ 的分布函数的形式已知，但含有 ​​$k$​​ 个位置参数 ​​$\theta_1,\dots,\theta_k$​​，基于总体的一个样本 ​​$X_1,\dots,X_n$​​，构造 ​​$k$​​ 个统计量，​​$\hat\theta_1(X_1,\dots,X_n),\hat\theta_2(X_1,\dots,X_n),\dots,\hat\theta_k(X_1,\dots,X_n)$​​ 作为 ​$\theta_1,\theta_2,\dots,\theta_n$​ 的估计

(1)矩估计

用矩来估计，计算样本 $(X_1,\dots,X_n)$ 的 $r$ 阶矩 $A_r=\frac 1n\sum_{i=1}^n X_i^r$，对每个 $r=1,2,\dots,k$

列出方程 $\mu_r(\hat \theta_1,\hat \theta_2,\dots, \hat \theta_k)=\frac 1n \sum_{i=1}^n X_i^r$，$r=1,2,\dots,k$

$k$ 个未知数 $k$ 个方程，可以解出 $(\hat \theta_i)$

(2)极大似然估计

设总体 $X$ 的概率密度函数为 $f(x; \theta)$

对于总体 $X$ 的随机样本 $(X_1,\dots,X_n)$，其联合密度函数为：

$$L(x_1,\dots,x_n,\theta)=\prod_{i=1}^nf(x_i,\theta)$$

当样本 $(X_1,\dots,X_n)$ 观测值 $x_1,\dots,x_n$ 给定时，$L(x_1,\dots,x_n)$ 退变为 $\theta$ 的函数，记为 $L(\theta)$，称 $L(\theta)$ 为样本的似然函数

极大似然估计就是选择适当的 $\theta$，使 $L(\theta)$ 取到最大值

这样得到的 $\hat \theta=g(x_1,x_2,\dots,x_n)$ 为参数 $\theta$ 的极大似然估计值

称相应的统计量 $\hat \theta=g(X_1,X_2,\dots,X_n)$ 为参数 $\theta$ 的极大似然估计量

多个待估参数量的情形是同理的

如果似然函数关于变量 $\theta_1,\dots,\theta_k$ 可微，那么可以列方程组（偏导为0），得到极大似然估计

回到顶部

估计量的评价

无偏性

设 $(X_1,\dots,X_n)$ 是 $X$ 的样本，$\hat \theta(X_1,\dots,X_n)$ 是总体参数 $\theta$ 的估计量，如果 $E(\hat \theta)=\theta$，则称 $\hat \theta$ 是 $\theta$ 的无偏估计量

​$S^2$​ 是 ​$\sigma^2$​ 的无偏估计量，易证

$S$ 不是 $\sigma$ 的无偏估计量，这个证明有点复杂，结论是 $\frac S{\frac{\sqrt 2\Gamma(\frac n2)}{\sqrt{n-1}\Gamma(\frac{n-1}2)}}$ 是 $\sigma$ 的无偏估计量

有效性

如果 $\hat \theta_1$ 和 $\hat \theta_2$ 都是 $\theta$ 的无偏估计量，如果 $D(\hat \theta_1)<D(\hat \theta_2)$，则称 $\hat \theta_1$ 比 $\hat \theta_2$ 更有效

一致性

当 $n\to \infty$，$\hat \theta$ 依概率收敛于 $\theta$，称 $\hat \theta$ 是总体参数 $\theta$ 的一致估计量

关于一致性的常用结论

(i)样本 $k$ 阶矩是总体 $k$ 阶矩的一致估计量（由大数定律可得）

(ii)无偏估计量 ​$\hat\theta$​ 趋于无穷时方差为 ​$0$​，则 $\hat \theta$ 是 $\theta$ 的一致估计量（切比雪夫不等式）

矩估计法得到的估计量一般为一致估计量

回到顶部

区间估计

对待估未知参数，不是一个量来估计，而是两个量（值）确定一个范围，即一个区间，来估计

置信区间与置信度

对于一个给定的数 $\alpha$，$0<\alpha<1$

构造两个量 ​$\hat\theta_1(X_1,\dots,X_n)$​ 和 ​$\hat\theta_2(X_1,\dots,X_n)$​，使得 ​$P(\hat\theta_1<\theta_2)$

则称概率值 $1-\alpha$ 为置信水平或置信度，称两统计量形成的区间 $(\hat \theta_1,\hat \theta_2)$ 是一个随机区间，称该随机区间为参数 $\theta$ 的置信度为 $1-\alpha$ 的置信区间，并分别称 $\hat \theta_1,\hat \theta_2$ 为置信下限和置信上限

置信区间求解的基本步骤

(1)寻找一个样本函数 ​$g(X_1,X_2,\dots,X_n,\theta)$​，称为枢轴量，它含有待估参数，不含其它未知参数，它的分布已知，且分布不依赖于待估参数

(2)对于给定置信度 $1-\alpha$，确定出常数 $a$ 和 $b$，使得 $P(a<g(X_1,\dots,X_n)<b)=1-\alpha$

(3)由(2)的不等式解出关于 $\theta$ 的置信上下限，$\hat \theta_1$ 和 $\hat \theta_2$，即有 $P(\hat \theta_1<\theta<\hat \theta_2)=1-\alpha$，即得到置信区间 $(\hat\theta_1,\hat\theta_2)$

正态总体置信区间

考虑总体服从正态分布的情形，并分两种情况：

• 一个正态总体
• 两个正态总体

注：记 $u_{\alpha},t_{\alpha}(n),\chi^2_{\alpha}(n),F_\alpha(n,m)$ 分别为标准正态分布、$t(n)$ 分布、$\chi^2(n)$ 分布、$F(n,m)$ 分布的 $\alpha$ 下侧分位数

一个正态总体的情形：

(1)方差 $\sigma^2$ 已知，$\mu$ 的置信区间

取枢轴量 $\frac{\overline X-\mu}{\sigma/\sqrt n}\sim N(0,1)$

由 $P(|\frac{\overline X-\mu}{\sigma/\sqrt n}|<u_{1-\frac \alpha 2})=1-\alpha$

得到置信区间 $(\overline X-u_{1-\frac \alpha 2}\frac{\sigma}{\sqrt n},\overline X+u_{1-\frac \alpha 2}\frac{\sigma}{\sqrt n})$

(2)方差 $\sigma^2$ 未知，$\mu$ 的置信区间

取枢轴量 $\frac{\overline X-\mu}{S/\sqrt n}\sim t(n-1)$，置信区间略

(3) $\mu$ 已知，方差 $\sigma^2$ 的置信区间

取枢轴量

$$\sum_{i=1}^n(\frac{X_i-\mu}{\sigma})^2\sim \chi^2(n)$$

(4) $\mu$ 未知，方差 $\sigma^2$ 的置信区间

取枢轴量

$$\frac{(n-1)S^2}{\sigma^2}\sim \chi^2(n-1)$$

接下来是两个正态总体的情形

(1) $\sigma_1^2,\sigma_2^2$ 已知，$\mu_1-\mu_2$ 的置信区间

取枢轴量

$$\frac{(\overline X-\overline Y)-(\mu_1-\mu_2)}{\sqrt{\frac{\sigma_1^2}{n}+\frac{\sigma_2^2}{m}}}\sim N(0,1)$$

(2) ​$\sigma_1^2,\sigma_2^2$​ 未知（但 ​$\sigma_1^2=\sigma_2^2=\sigma^2$​），​$\mu_1-\mu_2$​ 的置信区间

取枢轴量

$$\frac{(\overline X-\overline Y)-(\mu_1-\mu_2)}{\sqrt{\frac 1n+\frac 1m}\sqrt{\frac{(n-1)S_1^2+(m-1)S_2^2}{n+m-2}}}\sim t(n+m-2)$$

(3) $\sigma_1^2,\sigma_2^2$ 未知，$n,m>50$，$\mu_1-\mu_2$ 的置信区间

取枢轴量

$$\frac{(\overline X-\overline Y)-(\mu_1-\mu_2)}{\sqrt{\frac{S_1^2}{n}+\frac{S_2^2}{m}}}\overset{\text{近似}}\sim N(0,1)$$

(4) $\sigma_1^2,\sigma_2^2$ 未知，但 $n=m$，$\mu_1-\mu_2$ 的置信区间

令 $Z_i=X_i-Y_i$，可以将它看作来自正态总体 $Z\sim N(\mu_1-\mu_2,\sigma_1^2+\sigma_2^2)$ 的样本

然后和一个正态总体的 $\mu$ 的置信区间做法一样

(5)方差比 $\frac{\sigma_1^2}{\sigma_2^2}$ 的置信区间（$\mu_1,\mu_2$ 未知）

取枢轴量

$$F=\frac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2}\sim F(n-1,m-1)$$

(6)方差比 $\frac{\sigma_1^2}{\sigma_2^2}$ 的置信区间（$\mu_1,\mu_2$ 已知）

取枢轴量

$$F=\frac{\frac 1n\sum_{i=1}^n (\frac{X_i-\mu_1}{\sigma_1})^2}{\frac 1m\sum_{i=1}^m (\frac{Y_i-\mu_2}{\sigma_2})^2}\sim F(n,m)$$

非正态总体的置信区间

通过中心极限定理，即得到一个式子，$n$ 很大的时候服从正态分布

回到顶部

假设检验

显著性水平

构造拒绝域

对假设检验问题，若 $W$ 为样本空间的一个子集，设 $(X_1,\dots,X_n)$ 为样本，$\theta$ 为原假设，对于一个小概率 $\alpha\in (0,1)$ 若 $W$ 满足：

$$P_\theta((X_1,\dots,X_n)\in W)\le \alpha$$

则称 $W$ 构成了原假设的一个拒绝域，称 $\alpha$ 为显著性水平，并称此由 $W$ 构成拒绝域的方法为显著性水平为 $\alpha$ 的方法

假设检验步骤

根据实际问题，建立 $H_0$ 与 $H_1$，在 $H_0$ 为真的情况下，选择合适的统计量 $V$

根据 $H_1$ 确定出拒绝域的形式

检验样本是否落入拒绝域

得出结论，接受 $H_0$ 或 $H_1$

两类错误概率及检验的评价准则

第一类错误

弃真，在 $H_0$ 为真的情况下，拒绝了 $H_0$，错误概率通常记作 $\alpha$

第二类错误

纳伪，在 $H_0$ 为假的情况下，接受了 $H_0$，错误概率通常记作 $\beta$

功效函数

设 $\theta$ 为总体带推断的参数，对于一个具有拒绝域 $W$ 的检验 $\tau$，定义：

$$\beta(\theta)=P_{\theta}(W):=P_{\theta}((X_1,\dots,X_n)\in W)$$

为该检验的功效函数（也记为 $\beta_W$ 或 $\beta_{\tau}$）

易见，功效函数，即样本落入拒绝域的概率，是总体分布的参数 $\theta$ 的函数

基于功效函数概念，对于假设 $H0:\theta\in \Theta_0$，$H1:\theta\in \Theta_1$，分析犯两类错误的概率 $\alpha,\beta$：

当 $\theta\in \Theta_0$ 时，即 $H_0$ 为真，落入拒绝域即犯第一类错误的概率：$\alpha=\beta(\theta)$，$(\theta\in \Theta_0)$

当 $\theta\in \Theta_1$ 时，即 $H_1$ 为真，落入拒绝域之外即犯第二类错误的概率：$\beta=1-\beta(\theta)$，$(\theta\in \Theta_1)$

一致最优检验

对于一个 $\alpha$，设 $\tau^*$ 为一个水平为 $\alpha$ 的检验，若对于一个水平为 $\alpha$ 的检验 $\tau$，都有 $\beta_{\tau^*}(\theta)\ge \beta_{\tau}(\theta),\forall \theta\in \Theta_1$

称 $\tau*$ 为一致最优检验，记为 UMP 检验（uniformly most powerfule test）

UMP 检验，在第一个错误控制在 $\alpha$ 内的情况下，总使第二类错误概率达到最小

无偏检验

对于假设 $H0:\theta\in \Theta_0$，$H1:\theta\in \Theta_1$，$\tau$ 为一检验，其功效为 $\beta(\theta)$

若对任意 $\theta_0\in \Theta_0$ 及 $\theta_1\in \Theta_1$，都有：

$$\beta(\theta_0)\le \beta(\theta_1)$$

则称 $\tau$ 为一个无偏检验

即，要求一个检验犯第一类错误的概率总不超过不犯第二类错误的概率

正态总体的假设检验（参数检验）

几乎与置信区间内容相同

总体分布的假设检验（非参数检验）

$\chi^2$ 检验法

设完备事件组 $A_1,\dots,A_k$，原假设 $H_0:P(A_i)=p_i,i=1,2,\dots,k$

进行 $n$ 次独立重复试验，事件出现的频数分别为 $v_1,\dots,v_k$

定理（Pearson）：若假设 $H_0$ 成立，则当 $n\to \infty$ 时，

$$V=\sum_{i=1}^k \frac{(v_i-np_i)^2}{np_i}$$

趋于 $\chi^2(k-r-1)$ 分布，其中 $r$ 是用最大似然估计的未知参数个数

Pearson $\chi^2$ 检验：拒绝域 $V>\chi^2_{1-\alpha}(k-r-1)$

偏度、峰度检验法

设 $G_1=B_3/B_2^{3/2}$（称为样本偏度）

设 $G_2=B_4/B_2^2$（称为样本峰度）

若总体 $X$ 为正态变量，则可证：

当 $n$ 充分大时，近似地有 $G_1\sim N(0,\sigma_1^2)$，$G_2\sim N(\mu_2,\sigma_2^2)$，其中

$$\begin{aligned} \sigma_1^2&=\frac{6(n-2)}{(n+1)(n+3)}\\ \mu_2&=3-\frac{6}{n+1}\\ \sigma_2^2&=\frac{24n(n-2)(n-3)}{(n+1)^2(n+3)(n+5)} \end{aligned}$$

回到顶部

方差分析

单因素方差分析（实验次数相等）

设因子 $A$ 有 $m$ 个水平，分别记为 $A_1,\dots,A_m$，在每一种水平下，均进行 $k$ 次试验，每次试验可记为 $X_{i,j}$，观察值为 $x_{i,j}$

为了方便，进一步假定这些总体为正态总体且具有相同的方差，于是：

$$X_{i,j}\sim N(\mu_i,\sigma^2)$$

原问题：考察因子 $A$ 对试验结果是否有显著影响

转化为：同方差总体（正态）期望是否相同

设 $\varepsilon_i$ 是因子 $A$ 的第 $i$ 个水平 $A_i$ 所引起的差异：$\varepsilon_i=\mu_i-\mu$ 称为水平 $A_i$ 的效应，其中 $\mu=\frac 1m\sum_{i=1}^m\mu_i$ 称为均值（期望）的总平均

相当于假设检验 $H0:\mu_1=\mu_2=\dots=\mu$ 或 $H0:\varepsilon_1=\varepsilon_2=\dots=0$

假设检验是第一个任务，第二个任务是对 $\mu_1,\dots,\mu_m,\sigma^2$ 进行参数估计

水平 ​$A_i$​ 下的样本均值（又称为组内平均值）

$$\overline X_i=\frac 1k\sum_{i=1}^kX_{i,j}$$

数据总平均

$$\overline X=\frac 1m\sum_{i=1}^m\overline X_i=\frac 1{mk}\sum_{i=1}^m\sum_{j=1}^kX_{i,j}$$

总离差平方和

$$S_T=\sum_{i=1}^m\sum_{j=1}^k(X_{i,j}-\overline X)^2$$

在假设 $H0$ 成立时，$S_T\sim \chi^2(mk-1)$

事实上，$S_T=(mk-1)S^2$，其中 $S^2$ 是总样本方差

误差平方和

$$S_e=\sum_{i=1}^m\sum_{j=1}^k(X_{i,j}-\overline X_i)^2$$

反应组内（在同一水平下）样本的随机波动

效应平方和（组间平方和）

$$S_A=\sum_{i=1}^m\sum_{j=1}^k(\overline X_i-\overline X)^2=k\sum_{i=1}^m(\overline X_i-\overline X)^2$$

在一定程度上反应由组间（因子各个水平之间）不同引起的差异

平方和分解公式

$S_T=S_A+S_e$

这是因为：

$$(X_{i,j}-\overline X)^2=(X_{i,j}-\overline X_i+\overline X_i-\overline X)^2=(X_{i,j}-\overline X_i)^2+(\overline X_i-\overline X)^2+2(X_{i,j}-\overline X_i)(\overline X_i-\overline X))$$

同时：

$$\begin{aligned} &\sum_{i=1}^m\sum_{j=1}^k(X_{i,j}-\overline X_i)(\overline X_i-\overline X)\\ =&\sum_{i=1}^m(\overline X_i-\overline X)\sum_{j=1}^k(X_{i,j}-\overline X_i)\\ =&0 \end{aligned}$$

结合一下就证明了

检验统计量

注意到：

$$\frac{S_A}{\sigma^2}\sim \chi^2(m-1)$$

和

$$\frac{S_e}{\sigma^2}\sim \chi^2(n-m)$$

因此检验统计量：

$$F=\frac{S_A/(m-1)}{S_e/(n-m)}\sim F(m-1,n-m)$$

平方和分解定理（证略）

设 $Q$ 服从自由度为 $n$ 的 $\chi^2$ 分布，又

$$Q=Q_1+Q_2+\dots+Q_k$$

其中 $Q_i$ 是秩为 $f_i$ 的非负二次型，则 $Q_i$ 互相独立且分布服从自由度为 $f_i$ 的 $\chi^2$ 分布的充要条件是：

$$f_1+f_2+\dots+f_k=n$$

单因素方差分析（实验次数不等）

与相等的类似，检验统计量

$$F=\frac{S_A/(m-1)}{S_e/(n-m)}\sim F(m-1,n-m)$$

平方和的计算

令 $T_i=\sum_{j=1}^{n_i}x_{i,j}$，$CT=n\overline x^2=\frac 1n(\sum_{i=1}^mT_i)^2$

则

$$S_T=\sum_{i=1}^m\sum_{j=1}^{n_i}(x_{i,j}-\overline x)^2=\sum_{i=1}^m\sum_{j=1}^{n_i}x_{i,j}^2-CT$$

$$\begin{aligned} S_A&=\sum_{i=1}^m\sum_{j=1}^{n_i}(\overline x_i-\overline x)^2\\ &=\sum_{i=1}^m \frac{T_i^2}{n}-CT \end{aligned}$$

$$S_e=S_T-S_A$$

双因子方差分析（双因子间无交互作用）

设 $A,B$ 是两个因子，$A_1,\dots,A_n$ 是 $A$ 的 $n$ 个水平，$B_1,\dots,B_m$ 是 $B$ 的 $m$ 个水平

实验结果以 $X_{i,j}$ 表示，其观察值为 $x_{i,j}$，假定在每种组合下实验结果 $X_{i,j}$ 满足 $N(\mu_{i,j},\sigma^2)$

并设满足如下定义的效应可加性：$\mu_{i,j}=\mu+\alpha_i+\beta_j$，其中 $\alpha_i$ 为因子水平 $A_i$ 的效应，$\beta_j$ 为因子水平 $B_j$ 的效应

于是，与单因素方差分析类似，可作问题转化：判定 $A,B$ 两因子对试验指标的影响是否显著的问题

相当于检验一下假设：$H0:\mu_{1,1}=\mu_{1,2}=\dots=\mu_{i,j}=\dots=\mu_{n,m}$

一些统计量的定义

数据总平均：

$$\overline X=\overline{X_{\bullet,\bullet}}=\frac 1{nm}\sum_{i=1}^n\sum_{j=1}^mX_{i,j}$$

水平 $A_i$ 的组内平均值：

$$\overline {X_{i,\bullet} }=\frac{1}{m}\sum_{j=1}^m X_{i,j}$$

水平 $B_j$ 的组内平均值：

$$\overline {X_{\bullet,j}}=\frac{1}n\sum_{i=1}^nX_{i,j}$$

总离差平方和：

$$S_T=\sum_{i=1}^n\sum_{j=1}^m(X_{i,j}-\overline X)^2$$

因子 $A$ 效应平方和（组间）：

$$S_A=\sum_{i=1}^n\sum_{j=1}^m(\overline{X_{i,\bullet}}-\overline X)^2=m\sum_{i=1}^n(\overline{X_{i,\bullet}}-\overline X)^2$$

因子 $B$ 效应平方和（组间）：

$$S_B=\sum_{i=1}^n\sum_{j=1}^m(\overline{X_{\bullet,j}}-\overline X)^2=n\sum_{j=1}^m(\overline{X_{\bullet,j}}-\overline X)^2$$

误差平方和（组内）：

$$S_e=\sum_{i=1}^n\sum_{j=1}^m(X_{i,j}-\overline{X_{i,\bullet}}-\overline{X_{\bullet,j}}+\overline X)^2$$

与单因素方差分析类似，可得如下分解公式：

$$S_T=S_A+S_B+S_e$$

检验统计量

$$\begin{aligned} F_A&=\frac{S_A/(n-1)}{S_e/(n-1)(m-1)}\sim F(n-1,(n-1)(m-1))\\ F_B&=\frac{S_B/(m-1)}{S_e/(n-1)(m-1)}\sim F(m-1,(n-1)(m-1)) \end{aligned}$$

平方和计算

$$S_A=\frac 1m\sum_{i=1}^nT_{i,\bullet}^2-\frac{T_{\bullet,\bullet}^2}{nm}$$

$$S_B=\frac 1n\sum_{j=1}^mT_{\bullet,j}^2-\frac{T_{\bullet,\bullet}^2}{n,m}$$

$$TS:=\sum_{i=1}^n\sum_{j=1}^m X_{i,j}^2$$

双因子方差分析（双因子间有交互作用）

每个 $A_i$ 和 $B_j$ 都要做 $r$ 次，设为 $X_{i,j,k}\sim N(\mu_{i,j,k},\sigma^2)$

并设有 $\mu_{i,j,k}=\mu+\alpha_i+\beta_j+\gamma_{i,j}$

判定有无显著影响的问题转化为检验假设 $H0:\mu_{i,j,k}=0,\forall i,j,k$

（这里还有一堆，先略了）

回到顶部

回归分析

一元线性回归模型

样本点 $(x_i,y_i)$，$i=1,2,\dots,n$

其中，变量间的线性相关的关系可用如下数学关系式表示：$Y=a+bx+\varepsilon$，其中 $\varepsilon\sim N(0,\sigma^2)$

待定常数 $a,b$ 称为模型参数，即回归系数，且 $a,b,\sigma^2$ 均不依赖于 $x$

回归系数的极大似然估计

为了方便，引入如下统计量：

$$S_{xx}=\sum_{i=1}^n(x_i-\overline x)^2$$

$$S_{xy}=\sum_{i=1}^n(x_i-\overline x)(y_i-\overline y)$$

$$S_{yy}=\sum_{i=1}^n(y_i-\overline y)^2$$

由于 $Y=a+bx+\varepsilon$，有 $Y_i\sim N(a+bx,\sigma^2)$，则似然函数

$$L(a,b)=\prod_{i=1}^n\frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(y_i-a-bx_i)^2}{2\sigma^2}}$$

极大化这个似然函数

$$\ln L=\sum_{i=1}^n\ln(\frac 1{\sqrt{2\pi}\sigma})-\frac{(y_i-a-bx_i)^2}{2\sigma^2}$$

对 $a$ 和 $b$ 的偏导是 $0$，解得 $\hat a=\overline y-b\overline x,\hat b=\frac{S_{xy}}{S_{xx}}$

最小二乘法

求解 $\hat a,\hat b$，使得 $\sum_{i=1}^n (y_i-a-bx_i)^2=Q(a,b)$ 最小

求偏导解得 $\hat a,\hat b$ 与极大似然相同

回归方程的显著性检验

相关系数检验法

令

$$r=\frac{S_{xy}}{\sqrt{S_{xx}S_{xy}}}$$

$$|r|=\sqrt{1-\frac{Q}{S_{yy}}}$$

其中 $Q=\sum_{i=1}^n\delta_i^2=\sum_{i=1}^n(y_i-\hat y_i)^2$

假设检验 $H_0:r=0$，检验统计量

$$t=\frac{\sqrt{n-2}r}{\sqrt{1-r^2}}\sim t(n-2)$$

当 $|t|>t_{1-\frac \alpha 2}(n-2)$，拒绝原假设，认为存在线性关系，否则接受原假设，认为不存在线性关系

$F$ 检验法

假设检验 $H_0:b=0$，检验统计量

$$F=\frac{(n-2)U}{Q}\sim F(1,n-2)$$

其中 $U=\sum_{i=1}^n(\hat y_i-\overline y)^2=\frac{S_{xy}^2}{S_{xx}}$

课后验证：$S_{yy}=U+Q$

相关性质

在 $H0:b=0$ 或 $H0:r=0$ 之下，有

$$\frac{S_{yy}}{\sigma^2}\sim \chi^2(n-1)$$

$$\frac U{\sigma^2}\sim \chi^2(1)$$

$$\frac Q{\sigma^2}\sim \chi^2(n-2)$$

且 $Q$ 与 $U$ 独立

$$t=\frac{\sqrt{n-2}r}{\sqrt{1-r^2}}=\frac{\sqrt{(n-2)(\frac{S_{yy}-Q}{S_{yy}})}}{\sqrt{\frac{Q}{S_{yy}}}}=\frac{\sqrt{(n-2)\frac{U}{S_{yy}}}}{\sqrt{\frac{Q}{S_{yy}}}}=\frac{\sqrt U}{\sqrt{Q/(n-2)}}\sim t(n-2)$$

而 $F=t^2=\frac{(n-2)U}{Q}\sim F(1,n-2)$

多元线性回归

$Y=b_0+b_1x_1+\dots+b_kx_k+\varepsilon$，常设 $\varepsilon\sim N(0,\sigma^2)$

最小二乘法

​$Q=\sum_{i=1}^n(y_i-\hat y_i)^2$​ 对每个 ​$b_i$​ 求偏导令其为 ​$0$​