信息学中的概率统计

概率

离散型随机变量常见分布

(1)01 分布

\[P(X=k)=p^k(1-p)^{1-k} \]

\[E(X)=p \]

\[D(X)=p(1-p) \]

(2)二项分布

记作 ​\(X\sim B(n,p)\)​

\[P(X=k)=\binom{n}{k}p^k(1-p)^{n-k} \]

\[E(X)=np \]

\[D(X)=np(1-p) \]

(3)几何分布

称 ​\(X\)​ 为服从参数为 ​\(p\)​ 的几何分布

\[P(X=k)=(1-p)^{k-1}p \]

\[E(X)=\frac 1p \]

\[D(X)=\frac {1-p}{p^2} \]

(4)Pascal分布（负二项分布）

\[P(X=k)=\binom{k-1}{r-1}p^r(1-p)^{k-r} \]

组合意义是 ​\(X\)​ 是第 ​\(r\)​ 次事件 ​\(A\)​ 发生的时刻

(5)超几何分布

设一批产品数为 ​\(N\)​，次品 ​\(M\)​ 个，不放回抽样 ​\(n\)​ 个，其中次品数为随机变量 ​\(X\)​

\[P(X=k)=\frac{\binom Mk\binom{N-m}{n-k}}{\binom Nn} \]

(6)泊松分布

\[P(X=k)=e^{-\lambda} \frac{\lambda^k}{k!} \]

记作 ​\(X\sim\pi(\lambda)\)​ 或 ​\(P(\lambda)\)​

\[E(X)=D(X)=\lambda \]

泊松定理

设 ​\(X\sim B(n,p_n),n=1,2,\dots\)​

又设 ​\(np_n\to\lambda>0\)​，则对固定的 ​\(k\)​

\[\lim_{n\to +\infty}\binom{n}{k} p^k(1-p)^{n-k}=e^{-\lambda}\frac{\lambda^k}{k!} \]

连续型随机变量常见分布

如没有特殊说明，​\(f(x)\)​ 是概率密度函数，​\(F(x)\)​ 是概率分布函数

(1)均匀分布

\[f(x)=\frac 1{b-a},(a<x<b) \]

记作 ​\(X\sim U(a,b)\)​

\[E(X)=\frac {a+b}{2} \]

\[D(X)=\frac{(b-a)^2}{12} \]

(2)指数分布

\[f(x)=\lambda e^{-\lambda x},x\ge 0 \]

\[F(x)=1-e^{-\lambda x},x\ge 0 \]

记作 ​\(X\sim E(\lambda)\)​

对于任意 ​\(0<a<b\)​，​\(P(a<X<b)=e^{-\lambda a}-e^{-\lambda b}\)​

\[E(X)=\frac 1\lambda \]

\[D(X)=\frac 1{\lambda^2} \]

(3)正态分布

\[f(x)=\frac 1{\sqrt{2\pi}\sigma}e^{-\frac {(x-\mu)^2}{2\sigma^2}} \]

记作 ​\(X\sim N(\mu,\sigma^2)\)​

\[E(X)=\mu \]

\[D(X)=\sigma^2 \]

正态分布相加还是正态分布，即 \(X\sim N(\mu_1,\sigma_1^2)\)，\(Y\sim N(\mu_2,\sigma_2^2)\)，且 \(X,Y\) 独立，则 \(X\pm Y\sim N(\mu_1\pm \mu_2,\sigma_1^2+\sigma_2^2)\)

(4)​\(\Gamma\)​分布

\[f(x)=\frac{\beta^{\alpha}}{\Gamma(\alpha)}x^{\alpha-1}e^{-\beta x},x>0 \]

记作 ​\(X\sim\Gamma(\alpha,\beta)\)​，其中

\[\Gamma(\alpha)=\int_{0}^{+\infty}x^{\alpha-1}e^{-x}\mathrm dx \]

当 ​\(\alpha=1\)​ 时，​\(\Gamma(\alpha,\beta)\)​ 退化为 ​\(E(\beta)\)​

当 ​\(\alpha=\frac n2,\beta=\frac 12\)​ 时，​\(\Gamma(\alpha,\beta)\)​ 退化为自由度为 ​\(n\)​ 的 ​\(\chi^2\)​ 分布，记作 ​\(X\sim\chi^2(n)\)​，即 ​\(\Gamma(\frac n2,\frac 12)=\chi^2(n)\)​

\[E(X)=\frac{\alpha}{\beta} \]

\[D(X)=\frac{\alpha}{\beta^2} \]

性质

(i)​\(\Gamma(\alpha+1)=\alpha\Gamma(\alpha)\)​

(ii)对于任意正整数，​\(\Gamma(n+1)=n!\)​

(iii)​\(\Gamma(\frac 12)=\pi^{\frac 12}\)​

验证

\[\begin{aligned} \int_{0}^{+\infty}f(x)\mathrm dx&=\frac 1{\Gamma(\alpha)}\int_{0}^{+\infty}(\beta x)^{\alpha-1}e^{-\beta x}\mathrm d\beta x\\ &=1 \end{aligned} \]

联合密度

雅可比行列式

已知 ​\(X,Y\)​ 的联合密度 ​\(f_{XY}(x,y)\)​，设 ​\(Z=g(X,Y),U=r(X,Y)\)​，存在唯一的反函数 ​\(X=h(Z,U),Y=s(Z,U)\)​，且 ​\(h,s\)​ 有连续的偏导数，记

\[J(z,u)=\begin{vmatrix}\frac{\partial h}{\partial z} & \frac{\partial h}{\partial u} \\ \frac{\partial s}{\partial z} & \frac{\partial s}{\partial u}\end{vmatrix} \]

那么 ​\(f_{ZU}(z,u)=f_{XY}(h(z,u),s(z,u))|J(z,u)|\)​，注意是取绝对值

期望方差相关

期望性质

​\(E(X+Y)=E(X)+E(Y)\)​

​\(X,Y\)​ 独立 ​\(\Rightarrow E(XY)=E(X)E(Y)\)​，逆命题不真

​\(E(XY)^2\le E(X^2)E(Y^2)\)​，许瓦尔兹（Schwarz）不等式

许瓦尔兹（Schwarz）不等式证明

​\(\forall\lambda,E((\lambda X+Y)^2)=\lambda^2E(X^2)+2\lambda E(XY)+E(Y^2)\ge 0\Rightarrow\Delta\le 0\Rightarrow E(XY)^2\le E(X^2)E(Y^2)\)​

方差性质

​\(D(aX+b)=a^2D(X)\)​

​\(D(X\pm Y)=D(X)+D(Y)\pm 2E((X-E(X))(Y-E(Y)))\)​

若 ​\(X\)​ 和 ​\(Y\)​ 独立，则 ​\(D(X\pm Y)=D(X)+D(Y)\)​，反之不成立，于是有若 ​\(X_1,\dots,X_n\)​ 独立，​\(D(\sum a_iX_i+b)=\sum a_i^2D(X_i)\)​。

对于任意常数 ​\(C\)​，​\(D(X)\le E(X-C)^2\)​，取等当且仅当 ​\(C=E(X)\)​

协方差性质

若 ​\(E((X-E(X))(Y-E(Y)))\)​ 存在，称为 ​\(X\)​ 和 ​\(Y\)​ 的协方差，记作 ​\(\text{cov}(X,Y)\)​

​\(\text{cov}(X,Y)=\text{cov}(Y,X)=E(XY)-E(X)E(Y)\)​

​\(\text{cov}(X,X)=D(X)\)​

​\(\text{cov}(a_1X+b_1,a_2X+b_2)=a_1a_2\text{cov}(X,Y)\)​

​\(\text{cov}(X+Y,Z)=\text{cov}(X,Z)+\text{cov}(Y,Z)\)​

​\(\text{cov}(X,Y)^2\le D(X)D(Y)\)​，证明：展开后使用期望的最后一条性质——许瓦尔兹（Schwarz）不等式

相关系数性质

定义 ​\(\rho(X,Y)=\frac{\text{cov}(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}\)​ 为 ​\(X\)​ 和 ​\(Y\)​ 的相关系数，即 ​\(\rho(X,Y)=\text{cov}(X^∗,Y^∗)\)​，即将 ​\(X\)​ 和 ​\(Y\)​ 标准化之后的协方差

​\(\rho(X,Y)=0\Leftrightarrow\text{cov}(X,Y)=0\Leftrightarrow E(XY)=E(X)E(Y)\Leftrightarrow D(X\pm Y)=D(X)+D(Y)\)​，但并不能说明独立，除非是 ​\(X\)​ 和 ​\(Y\)​ 服从二维正态分布

协方差矩阵

设 ​\(n\)​ 维随机变量 ​\((X_1,X_2,\dots,X_n)\)​，记 ​\(\sigma_{i,j}=\text{cov}(X_i,X_j)\)​，若 ​\(\sigma_{i,j}\)​ 都存在，则称

\[\Sigma(X_1,X_2,\dots,X_n)=(\sigma_{i,j}) \]

为 ​\((X_1,X_2,\dots,X_n)\)​ 的协方差矩阵

(i)非负定

(ii)​\(\sigma_{i,i}=D(X_i)\)​

(iii)​\(\sigma_{i,j}^2\le\sigma_{i,i}\sigma_{j,j}\)​（协方差最后的一个性质）

协方差向量表示

​\(\mathbf X=(X_1,X_2,\dots,X_n)^T,E(\mathbf X)=(EX_1,EX_2,\dots,EX_n)^T\)​

那么 ​\(\Sigma(\mathbf X)=E((X-EX)(X-EX)^T)\)​

​\(𝐧\)​ 维正态分布的向量表示

对于 ​\(n\)​ 维正态随机变量 ​\((X_1,X_2,\dots,X_n)\)​，其分布可表示为 ​\((X_1,X_2,\dots,X_n)\sim N(\mathrm{\mu},\Sigma)\)​，其中 ​\(\mathrm{\mu}=(\mu_1,\mu_2,\dots,\mu_n)\)​ 是 ​\(n\)​ 维期望向量，​\(\Sigma\)​ 是协方差矩阵

记 ​\(\mathrm{x}=(x_1,x_2,\dots,x_n)\)​，那么

\[f(x_1,x_2,\dots,x_n)=\frac{1}{(2\pi)^{\frac n2}|\Sigma|^{\frac 12}}e^{-\frac 12(\mathrm x-\mathrm \mu)^T\Sigma^{-1}(\mathrm x-\mathrm \mu)} \]

线性变换下的协方差（矩阵）

设 ​\(Y=AX\)​，​\(A\)​ 是非退化的 ​\(n\)​ 阶矩阵

\[\begin{aligned} \Sigma(Y)&=E((Y-EY)(Y-EY)^T)\\ &=E(A(X-EX)(X-EX)^TA^T)\\ &=A\Sigma(X)A^T \end{aligned} \]

概率极限理论

随机变量序列的收敛性

对于概率空间 \((\Omega,F,P)\) 上的随机变量序列 \(\{X_n\}\) 和随机变量 \(X\)

(1)概率为 ​\(𝟏\)​ 地收敛于 ​\(𝐗\)​

如果 ​\(P(\lim_{n\to\infty}X_n=X)=1\)​，则称 \(\{X_n\}\) 概率为 \(1\) 的收敛于 \(X\)

记作 ​\(\lim_{n\to\infty}X_n\overset{a.e}{=}X\)​ 或 ​\(X_n\overset{a.e}{\to}X\)​

另一种说法：令 \(A=\{\omega \mid \lim_{n\to \infty}X_n(\omega)=X(\omega)\}\) 是一个随机事件，则 \(\lim_{n\to\infty}X_n\overset{a.e}{=}X\Leftrightarrow P(A)=1\)

(2)依概率收敛于 \(X\)

如果 \(\forall \varepsilon>0,\lim_{n\to \infty}P(|X_n-X|<\varepsilon)=1\)，则称 \(\{X_n\}\) 依概率收敛于 \(X\)

记作 \(\lim_{n\to \infty}X_n\overset{P}{=}X\) 或 \(X_n\overset P\to X\)

另一种说法：\(A_{n,\varepsilon}=\{\omega\mid |X_n(\omega)-X(\omega)|<\varepsilon\}\)，则 \(\lim_{n\to \infty}\overset P=X\Leftrightarrow \forall \varepsilon>0,\lim_{n\to \infty}P(A_{n,\varepsilon})=1\)

(3)依分布收敛

\(\{X_n\}\) 相应分布函数序列收敛

记作 \(\lim_{n\to \infty}X_n\overset{d}{=}X\) 或 \(X_n\overset d\to X\)

大数定律

重要不等式

设非负随机变量 \(X\) 的期望 \(E(X)\) 存在，则对于任意实数 \(\varepsilon>0\)，有

\[P(X\ge \varepsilon)\le \frac{E(X)}{\varepsilon} \]

证明：设 \(A=\{\omega\mid X(\omega)\ge \varepsilon\}\)，构造 \(I_A(\omega)=[\omega \in A]\)，显然有 \(\varepsilon I_A(\omega)\le X(\omega)\)，于是 \(E(\varepsilon I_A)\le E(X)\)，又有 \(E(\varepsilon I_A)=\varepsilon E(I_A)=\varepsilon P(A)\)，因此 \(P(X\ge \varepsilon)\le \frac{E(X)}{\varepsilon}\)

推论1：马尔可夫不等式

设 \(E(|X|^k)\) 存在，有

\[P(|X|\ge \varepsilon)\le \frac{E(|X|^k)}{\varepsilon^k} \]

推论2：切比雪夫不等式

设 \(D(X)\) 存在，有

\[P(|X-EX|\ge \varepsilon)\le \frac{D(X)}{\varepsilon^2} \]

大数定律定义

对于随机变量序列 \(\{X_k\}\)，每个 \(E(X_k)\) 都存在，记 \(\overline X_n=\frac 1n\sum_{k=1}^n X_k\)

当 \(n\to +\infty\)，\(\overline X_n-E(\overline X_n)\overset P\to 0\)，则称 \(\{X_k\}\) 服从大数定律

伯努利大数定律

\(\{X_k=\text{第 k 次实验(0-1分布)}\}\) 服从大数定律

证明：设 \(n_A=\sum_{k=1}^n X_k\)，于是 \(\overline X_n=\frac {n_A}n\)。\(\forall \varepsilon>0\)，\(P(\overline X_n-E(\overline X_n))\ge \varepsilon\le \frac{D(\overline X_n)}{\varepsilon^2}=\frac {p(1-p)}{n\varepsilon^2}\to 0，(n\to \infty)\)

切比雪夫大数定律

设 \(X_1,X_2,\dots,X_n\) 独立，且具有相同的数学期望 \(\mu\) 和方差 \(\sigma^2\)

则 \(\{X_1,X_2,\dots,X_n\}\) 服从大数定律

证明：和伯努利大叔定律的证明类似

扩展结论1

如果 \(X_k\) 互相独立，但不具有相同的数学期望的方差时，可设 \(E(X_k)=\mu_k,D(X_k)=\sigma_k^2\le \sigma^2\)

有 \(\forall \varepsilon>0,\lim_{n\to \infty}P(|\overline X_n-\frac 1n\sum_{k=1}^n\mu_k|\ge \varepsilon)=0\)

扩展结论2

可以去掉 \(X_k\) 相互独立，代之以 \(\frac 1{n^2}D(\sum_{k=1}^n X_k)\overset{n\to \infty}\to 0\)

辛钦大数定律

如果 \(X_k\) 独立同分布，期望存在，则 \(\{X_1,X_2,\dots,X_k\}\) 满足大数定律

强大数定律

在大数定律的基础上，如果是概率为 \(1\) 的收敛，那么服从强大数定律

伯努利、辛钦都是强大数定律，切比雪夫要加入条件 \(\sum_{k=1}^\infty \frac {D(X_n)}n^2\) 收敛才是强大数定律

中心极限定理

对于随机变量序列 \(\{X_k\}\)，如果 \(\sum_{k=1}^nX_k\) 的标准化变量依分布收敛到正态分布，则称 \(\{X_k\}\) 服从中心极限定理

独立同分布极限定理

\(X_k\) 独立同分布，期望和方差都存在，那么序列服从中心极限定理

统计

常用统计量

\(\overline X=\frac 1n\sum_{i=1}^n X_i\) 为样本均值

\(S^2=\frac 1{n-1}\sum_{i=1}^n(X_i-\overline X)^2\) 为样本方差

\(A_k=\frac 1n\sum_{i=1}^nX_i^k\) 为样本 \(k\) 阶原点矩

\(B_k=\frac 1n\sum_{i=1}^n (X_i-\overline X)^k\) 为样本 \(k\) 阶中心矩

来自正态总体的常用统计量及其分布

(1) ​\(\chi^2\)​ 分布

设 \(X_1,X_2,\dots,X_n\) 服从标准正态分布 \(N(0,1)\)

则统计量 \(\chi^2=\sum_{i=1}^nX_i^2\sim \chi^2(n)\)

\(f(x)=\frac 1{2^{\frac n2}\Gamma(\frac n2)}e^{-\frac x2}x^{\frac n2-1}\)，\(x>0\)

性质

(i) \(E(\chi^2(n))=n,D(\chi^2(n))=2n\)

(ii)若 \(X_1\sim \chi^2(n_1),X_2\sim\chi^2(n_2)\) 且 \(X_1,X_2\) 相互独立，那么 \(X_1+X_2\sim \chi^2(n_1+n_2)\)

(iii)\(n\to \infty\)，\(\chi^2(n)\to\)正态分布

(2)\(t(n)\)分布（\(n\)为自由度）

设 ​\(X\sim N(0,1),Y\sim\chi^2(n)\)​，​\(X,Y\)​ 相互独立

则统计量 \(T=\frac{X}{\sqrt{Y/n}}\sim t(n)\) 为 \(t\) 统计量，其分布称为自由度为 \(n\) 的 \(t\) 分布

其密度函数为 \(f(t)=\frac{\Gamma(\frac{n+1}{2})}{\sqrt{n\pi}\Gamma(\frac n2)}(1+\frac{t^2}{n})^{-\frac{n+1}2}\)，\(-\infty<t<+\infty\)，过程略，用雅可比行列式是可以求出来的

性质

(i)\(f_n(t)\) 是偶函数

(ii)\(n\to\infty\)，\(f_n(t)\to\) 标准正态分布

记 \(t\) 的分位数为 \(t_\alpha(n)\)

(iii)\(t_{1-\alpha}(n)=-t_\alpha(n)\)

(iiii)n很大，\(t_{\alpha}\approx u_{\alpha}\)

(3)\(F(n,m)\)分布（\(n\)、\(m\)分别为第一、二自由度）

设 \(X\sim \chi^2(n),Y\sim \chi^2(m)\)，\(X,Y\) 相互独立，则称：

\(F=\frac{X/n}{Y/m}\sim F(n,m)\)

为 \(F\) 统计量，其分布称为第一、二自由度为 \(n\)、\(m\) 的 \(F\) 分布

其密度函数为

\[f(t,n,m)=\frac{\Gamma(\frac{n+m}{2})}{\Gamma(\frac n2)\Gamma(\frac m2)}(\frac nm)^{\frac n2}t^{\frac n2-1}(1+\frac nmt)^{-{\frac {n+m}2}},(t>0) \]

证明用雅可比行列式

性质

(i)若 \(F\sim F(n,m)\)，则 \(\frac 1F\sim F(m,n)\)

记 \(F(n,m)\) 分布的上侧分位数为 \(F_\alpha(n,m)\)

(ii)\(F_{1-\alpha}(n,m)=\frac 1{F_\alpha(m,n)}\)

正态总体之样本均值于样本方差的一些结论

设总体 \(X\sim N(\mu,\sigma^2)\)，样本为 \((X_1,\dots,X_n)\)

则样本均值

结论1

\(\overline X\sim N(\mu,\frac{\sigma^2}n)\)，即 \(\frac{\overline X-\mu}{\sigma/\sqrt n}\sim N(0,1)\)

同时有：

结论2

\(\frac{(n-1)S^2}{\sigma^2}=\sum_{i=1}^n(\frac{X-\overline X}{\sigma})^2\sim \chi^2(n-1)\)

结论3

\(\frac{(n-1)S^2}{\sigma^2}\) 与 \(\overline X\) 相互独立（或 \(S^2\) 与 \(\overline X\) 相互独立）

证明2、3

令 \(Z_i=\frac{X_i-\mu}{\sigma}\)，则 \(Z_1,Z_2,\dots,Z_n\sim N(0,1)\)，且互相独立

而 \(\overline Z=\frac 1n\sum_{i=1}^nZ_i=\frac{\overline X-\mu}{\sigma}\)

\(\frac{(n-1)S^2}{\sigma^2}=\frac{\sum_{i=1}^n (X_i-\overline X)^2}{\sigma^2}=\sum_{i=1}^n(Z_i-\overline Z)^2=\sum_{i=1}^nZ_i^2-n\overline Z^2\)

取正交矩阵 \(A=(a_{i,j})\)，其中 \(a_{1,j}=\frac 1{\sqrt n}\)

令 \(Y=AZ\)

由于 \(Y_i=\sum_{j=1}^n a_{i,j}Z_j\)，故 \(Y_1,Y_2,\dots,Y_n\sim N(0,1)\)，且有 \(E(Y_i)=0\)

又由 \(\text{cov}(Z_i,Z_j)=[i=j]\)，及 \(A\) 正交，有：

\[\begin{aligned} \text{cov}(Y_i,Y_j)&=\text{cov}(\sum_{k=1}^na_{i,k}Z_k,\sum_{l=1}^na_{j,l}Z_l)\\ &=\sum_{k=1}^n\sum_{l=1}^na_{i,k}a_{j,l}\text{cov}(Z_k,Z_l)\\ &=\sum_{k=1}^n\sum_{l=1}^na_{i,k}a_{j,l}[k=l]\\ &=[i=j] \end{aligned} \]

于是，\(Y_1,\dots,Y_n\) 相互独立（这里有点奇怪，\(\text{cov}=0\) 不代表独立，可能是 \(Y\) 生成方式导致的）

而 \(Y_1=\sum_{j=1}a_{1,j}Z_j=\sqrt n \overline Z=\sqrt n\frac{\overline X-\mu}{\sigma}\)

且 \(\sum Y_i^2=Y^TY=Z^TA^TAZ=Z^TZ=\sum Z_i^2\)

故 \(\frac{(n-1)S^2}{\sigma^2}=\sum_{i=1}^nZ_i^2-n\overline Z^2=\sum_{i=1}^n Y_i^2-Y_1^2\sim \chi^2(n-1)\)

\(\overline X\) 只和 \(Y_1\) 有关，\(S^2\) 只和 \(Y_2,\dots,Y_n\) 有关，因此相互独立

结论4

\[\frac{\overline X-\mu}{S/\sqrt n}=\frac{\overline X-\mu}{\sigma/\sqrt n}\div \frac S{\sigma}\sim t(n-1) \]

设 \(X_1,\dots,X_n\sim N(\mu_1,\sigma_1^2)\)，\(Y_1,\dots,Y_m\sim N(\mu_2,\sigma_2^2)\)，且所有随机变量相互独立

令 \(S_1^2=\frac {1}{n-1}\sum_{i=1}^n(X_i-\overline X)^2,S_2^2=\frac {1}{m-1}\sum_{i=1}^m(Y_i-\overline Y)^2\)

则 \(\frac{(n-1)S_1^2}{\sigma_1^2}\sim \chi^2(n-1)\)，\(\frac{(m-1)S_2^2}{\sigma_2^2}\sim \chi^2(m-1)\)

且相互独立，从而

结论5

\[\frac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2}\sim F(n-1,m-1) \]

结论6

若 \(\sigma_1=\sigma_2=\sigma\)，则有

\[\overline X=\frac 1n\sum_{i=1}^n X_i\sim N(\mu_1,\frac{\sigma^2}{n}) \]

\[\overline Y=\frac 1m\sum_{i=1}^m Y_i\sim N(\mu_2,\frac{\sigma^2}{m}) \]

\[\overline X-\overline Y\sim N(\mu_1-\mu_2,\frac {\sigma^2} n+\frac {\sigma^2} m) \]

标准化：

\[\frac{(\overline X-\overline Y)-(\mu_1-\mu_2)}{\sqrt{\frac {\sigma^2} n+\frac {\sigma^2} m}} \sim N(0,1) \]

又

\[\frac{(n-1)S_1^2}{\sigma^2}\sim \chi^2(n-1) \]

\[\frac{(m-1)S_2^2}{\sigma^2}\sim \chi^2(m-1) \]

且相互独立，根据 \(\chi^2(n)\) 的可加性，有：

\[\frac{(n-1)S_1^2}{\sigma^2}+\frac{(m-1)S_2^2}{\sigma^2}\sim \chi^2(n+m-2) \]

而由结论3可知 \(\overline X-\overline Y\) 和 \(\frac{(n-1)S_1^2}{\sigma^2}+\frac{(m-1)S_2^2}{\sigma^2}\) 相互独立，因此：

\[\frac{\frac{(\overline X-\overline Y)-(\mu_1-\mu_2)}{\sqrt{\frac {\sigma^2} n+\frac {\sigma^2} m}}}{\sqrt{\frac{\frac{(n-1)S_1^2}{\sigma^2}+\frac{(m-1)S_2^2}{\sigma^2}}{n+m-2}}}\sim t(n+m-2) \]

化简一下：

\[\frac{(\overline X-\overline Y)-(\mu_1-\mu_2)}{\sqrt{\frac 1n+\frac 1m}\sqrt{\frac{(n-1)S_1^2+(m-1)S_2^2}{n+m-2}}}\sim t(n+m-2) \]

点估计

总体 ​​\(X\)​​ 的分布函数的形式已知，但含有 ​​\(k\)​​ 个位置参数 ​​\(\theta_1,\dots,\theta_k\)​​，基于总体的一个样本 ​​\(X_1,\dots,X_n\)​​，构造 ​​\(k\)​​ 个统计量，​​\(\hat\theta_1(X_1,\dots,X_n),\hat\theta_2(X_1,\dots,X_n),\dots,\hat\theta_k(X_1,\dots,X_n)\)​​ 作为 ​\(\theta_1,\theta_2,\dots,\theta_n\)​ 的估计

(1)矩估计

用矩来估计，计算样本 \((X_1,\dots,X_n)\) 的 \(r\) 阶矩 \(A_r=\frac 1n\sum_{i=1}^n X_i^r\)，对每个 \(r=1,2,\dots,k\)

列出方程 \(\mu_r(\hat \theta_1,\hat \theta_2,\dots, \hat \theta_k)=\frac 1n \sum_{i=1}^n X_i^r\)，\(r=1,2,\dots,k\)

\(k\) 个未知数 \(k\) 个方程，可以解出 \((\hat \theta_i)\)

(2)极大似然估计

设总体 \(X\) 的概率密度函数为 \(f(x; \theta)\)

对于总体 \(X\) 的随机样本 \((X_1,\dots,X_n)\)，其联合密度函数为：

\[L(x_1,\dots,x_n,\theta)=\prod_{i=1}^nf(x_i,\theta) \]

当样本 \((X_1,\dots,X_n)\) 观测值 \(x_1,\dots,x_n\) 给定时，\(L(x_1,\dots,x_n)\) 退变为 \(\theta\) 的函数，记为 \(L(\theta)\)，称 \(L(\theta)\) 为样本的似然函数

极大似然估计就是选择适当的 \(\theta\)，使 \(L(\theta)\) 取到最大值

这样得到的 \(\hat \theta=g(x_1,x_2,\dots,x_n)\) 为参数 \(\theta\) 的极大似然估计值

称相应的统计量 \(\hat \theta=g(X_1,X_2,\dots,X_n)\) 为参数 \(\theta\) 的极大似然估计量

多个待估参数量的情形是同理的

如果似然函数关于变量 \(\theta_1,\dots,\theta_k\) 可微，那么可以列方程组（偏导为0），得到极大似然估计

估计量的评价

无偏性

设 \((X_1,\dots,X_n)\) 是 \(X\) 的样本，\(\hat \theta(X_1,\dots,X_n)\) 是总体参数 \(\theta\) 的估计量，如果 \(E(\hat \theta)=\theta\)，则称 \(\hat \theta\) 是 \(\theta\) 的无偏估计量

​\(S^2\)​ 是 ​\(\sigma^2\)​ 的无偏估计量，易证

\(S\) 不是 \(\sigma\) 的无偏估计量，这个证明有点复杂，结论是 \(\frac S{\frac{\sqrt 2\Gamma(\frac n2)}{\sqrt{n-1}\Gamma(\frac{n-1}2)}}\) 是 \(\sigma\) 的无偏估计量

有效性

如果 \(\hat \theta_1\) 和 \(\hat \theta_2\) 都是 \(\theta\) 的无偏估计量，如果 \(D(\hat \theta_1)<D(\hat \theta_2)\)，则称 \(\hat \theta_1\) 比 \(\hat \theta_2\) 更有效

一致性

当 \(n\to \infty\)，\(\hat \theta\) 依概率收敛于 \(\theta\)，称 \(\hat \theta\) 是总体参数 \(\theta\) 的一致估计量

关于一致性的常用结论

(i)样本 \(k\) 阶矩是总体 \(k\) 阶矩的一致估计量（由大数定律可得）

(ii)无偏估计量 ​\(\hat\theta\)​ 趋于无穷时方差为 ​\(0\)​，则 \(\hat \theta\) 是 \(\theta\) 的一致估计量（切比雪夫不等式）

矩估计法得到的估计量一般为一致估计量

区间估计

对待估未知参数，不是一个量来估计，而是两个量（值）确定一个范围，即一个区间，来估计

置信区间与置信度

对于一个给定的数 \(\alpha\)，\(0<\alpha<1\)

构造两个量 ​\(\hat\theta_1(X_1,\dots,X_n)\)​ 和 ​\(\hat\theta_2(X_1,\dots,X_n)\)​，使得 ​\(P(\hat\theta_1<\theta_2)\)

则称概率值 \(1-\alpha\) 为置信水平或置信度，称两统计量形成的区间 \((\hat \theta_1,\hat \theta_2)\) 是一个随机区间，称该随机区间为参数 \(\theta\) 的置信度为 \(1-\alpha\) 的置信区间，并分别称 \(\hat \theta_1,\hat \theta_2\) 为置信下限和置信上限

置信区间求解的基本步骤

(1)寻找一个样本函数 ​\(g(X_1,X_2,\dots,X_n,\theta)\)​，称为枢轴量，它含有待估参数，不含其它未知参数，它的分布已知，且分布不依赖于待估参数

(2)对于给定置信度 \(1-\alpha\)，确定出常数 \(a\) 和 \(b\)，使得 \(P(a<g(X_1,\dots,X_n)<b)=1-\alpha\)

(3)由(2)的不等式解出关于 \(\theta\) 的置信上下限，\(\hat \theta_1\) 和 \(\hat \theta_2\)，即有 \(P(\hat \theta_1<\theta<\hat \theta_2)=1-\alpha\)，即得到置信区间 \((\hat\theta_1,\hat\theta_2)\)

正态总体置信区间

考虑总体服从正态分布的情形，并分两种情况：

• 一个正态总体
• 两个正态总体

注：记 \(u_{\alpha},t_{\alpha}(n),\chi^2_{\alpha}(n),F_\alpha(n,m)\) 分别为标准正态分布、\(t(n)\) 分布、\(\chi^2(n)\) 分布、\(F(n,m)\) 分布的 \(\alpha\) 下侧分位数

一个正态总体的情形：

(1)方差 \(\sigma^2\) 已知，\(\mu\) 的置信区间

取枢轴量 \(\frac{\overline X-\mu}{\sigma/\sqrt n}\sim N(0,1)\)

由 \(P(|\frac{\overline X-\mu}{\sigma/\sqrt n}|<u_{1-\frac \alpha 2})=1-\alpha\)

得到置信区间 \((\overline X-u_{1-\frac \alpha 2}\frac{\sigma}{\sqrt n},\overline X+u_{1-\frac \alpha 2}\frac{\sigma}{\sqrt n})\)

(2)方差 \(\sigma^2\) 未知，\(\mu\) 的置信区间

取枢轴量 \(\frac{\overline X-\mu}{S/\sqrt n}\sim t(n-1)\)，置信区间略

(3) \(\mu\) 已知，方差 \(\sigma^2\) 的置信区间

取枢轴量

\[\sum_{i=1}^n(\frac{X_i-\mu}{\sigma})^2\sim \chi^2(n) \]

(4) \(\mu\) 未知，方差 \(\sigma^2\) 的置信区间

取枢轴量

\[\frac{(n-1)S^2}{\sigma^2}\sim \chi^2(n-1) \]

接下来是两个正态总体的情形

(1) \(\sigma_1^2,\sigma_2^2\) 已知，\(\mu_1-\mu_2\) 的置信区间

取枢轴量

\[\frac{(\overline X-\overline Y)-(\mu_1-\mu_2)}{\sqrt{\frac{\sigma_1^2}{n}+\frac{\sigma_2^2}{m}}}\sim N(0,1) \]

(2) ​\(\sigma_1^2,\sigma_2^2\)​ 未知（但 ​\(\sigma_1^2=\sigma_2^2=\sigma^2\)​），​\(\mu_1-\mu_2\)​ 的置信区间

取枢轴量

\[\frac{(\overline X-\overline Y)-(\mu_1-\mu_2)}{\sqrt{\frac 1n+\frac 1m}\sqrt{\frac{(n-1)S_1^2+(m-1)S_2^2}{n+m-2}}}\sim t(n+m-2) \]

(3) \(\sigma_1^2,\sigma_2^2\) 未知，\(n,m>50\)，\(\mu_1-\mu_2\) 的置信区间

取枢轴量

\[\frac{(\overline X-\overline Y)-(\mu_1-\mu_2)}{\sqrt{\frac{S_1^2}{n}+\frac{S_2^2}{m}}}\overset{\text{近似}}\sim N(0,1) \]

(4) \(\sigma_1^2,\sigma_2^2\) 未知，但 \(n=m\)，\(\mu_1-\mu_2\) 的置信区间

令 \(Z_i=X_i-Y_i\)，可以将它看作来自正态总体 \(Z\sim N(\mu_1-\mu_2,\sigma_1^2+\sigma_2^2)\) 的样本

然后和一个正态总体的 \(\mu\) 的置信区间做法一样

(5)方差比 \(\frac{\sigma_1^2}{\sigma_2^2}\) 的置信区间（\(\mu_1,\mu_2\) 未知）

取枢轴量

\[F=\frac{S_1^2/\sigma_1^2}{S_2^2/\sigma_2^2}\sim F(n-1,m-1) \]

(6)方差比 \(\frac{\sigma_1^2}{\sigma_2^2}\) 的置信区间（\(\mu_1,\mu_2\) 已知）

取枢轴量

\[F=\frac{\frac 1n\sum_{i=1}^n (\frac{X_i-\mu_1}{\sigma_1})^2}{\frac 1m\sum_{i=1}^m (\frac{Y_i-\mu_2}{\sigma_2})^2}\sim F(n,m) \]

非正态总体的置信区间

通过中心极限定理，即得到一个式子，\(n\) 很大的时候服从正态分布

假设检验

显著性水平

构造拒绝域

对假设检验问题，若 \(W\) 为样本空间的一个子集，设 \((X_1,\dots,X_n)\) 为样本，\(\theta\) 为原假设，对于一个小概率 \(\alpha\in (0,1)\) 若 \(W\) 满足：

\[P_\theta((X_1,\dots,X_n)\in W)\le \alpha \]

则称 \(W\) 构成了原假设的一个拒绝域，称 \(\alpha\) 为显著性水平，并称此由 \(W\) 构成拒绝域的方法为显著性水平为 \(\alpha\) 的方法

假设检验步骤

根据实际问题，建立 \(H_0\) 与 \(H_1\)，在 \(H_0\) 为真的情况下，选择合适的统计量 \(V\)

根据 \(H_1\) 确定出拒绝域的形式

检验样本是否落入拒绝域

得出结论，接受 \(H_0\) 或 \(H_1\)

两类错误概率及检验的评价准则

第一类错误

弃真，在 \(H_0\) 为真的情况下，拒绝了 \(H_0\)，错误概率通常记作 \(\alpha\)

第二类错误

纳伪，在 \(H_0\) 为假的情况下，接受了 \(H_0\)，错误概率通常记作 \(\beta\)

功效函数

设 \(\theta\) 为总体带推断的参数，对于一个具有拒绝域 \(W\) 的检验 \(\tau\)，定义：

\[\beta(\theta)=P_{\theta}(W):=P_{\theta}((X_1,\dots,X_n)\in W) \]

为该检验的功效函数（也记为 \(\beta_W\) 或 \(\beta_{\tau}\)）

易见，功效函数，即样本落入拒绝域的概率，是总体分布的参数 \(\theta\) 的函数

基于功效函数概念，对于假设 \(H0:\theta\in \Theta_0\)，\(H1:\theta\in \Theta_1\)，分析犯两类错误的概率 \(\alpha,\beta\)：

当 \(\theta\in \Theta_0\) 时，即 \(H_0\) 为真，落入拒绝域即犯第一类错误的概率：\(\alpha=\beta(\theta)\)，\((\theta\in \Theta_0)\)

当 \(\theta\in \Theta_1\) 时，即 \(H_1\) 为真，落入拒绝域之外即犯第二类错误的概率：\(\beta=1-\beta(\theta)\)，\((\theta\in \Theta_1)\)

一致最优检验

对于一个 \(\alpha\)，设 \(\tau^*\) 为一个水平为 \(\alpha\) 的检验，若对于一个水平为 \(\alpha\) 的检验 \(\tau\)，都有 \(\beta_{\tau^*}(\theta)\ge \beta_{\tau}(\theta),\forall \theta\in \Theta_1\)

称 \(\tau*\) 为一致最优检验，记为 UMP 检验（uniformly most powerfule test）

UMP 检验，在第一个错误控制在 \(\alpha\) 内的情况下，总使第二类错误概率达到最小

无偏检验

对于假设 \(H0:\theta\in \Theta_0\)，\(H1:\theta\in \Theta_1\)，\(\tau\) 为一检验，其功效为 \(\beta(\theta)\)

若对任意 \(\theta_0\in \Theta_0\) 及 \(\theta_1\in \Theta_1\)，都有：

\[\beta(\theta_0)\le \beta(\theta_1) \]

则称 \(\tau\) 为一个无偏检验

即，要求一个检验犯第一类错误的概率总不超过不犯第二类错误的概率

正态总体的假设检验（参数检验）

几乎与置信区间内容相同

总体分布的假设检验（非参数检验）

\(\chi^2\) 检验法

设完备事件组 \(A_1,\dots,A_k\)，原假设 \(H_0:P(A_i)=p_i,i=1,2,\dots,k\)

进行 \(n\) 次独立重复试验，事件出现的频数分别为 \(v_1,\dots,v_k\)

定理（Pearson）：若假设 \(H_0\) 成立，则当 \(n\to \infty\) 时，

\[V=\sum_{i=1}^k \frac{(v_i-np_i)^2}{np_i} \]

趋于 \(\chi^2(k-r-1)\) 分布，其中 \(r\) 是用最大似然估计的未知参数个数

Pearson \(\chi^2\) 检验：拒绝域 \(V>\chi^2_{1-\alpha}(k-r-1)\)

偏度、峰度检验法

设 \(G_1=B_3/B_2^{3/2}\)（称为样本偏度）

设 \(G_2=B_4/B_2^2\)（称为样本峰度）

若总体 \(X\) 为正态变量，则可证：

当 \(n\) 充分大时，近似地有 \(G_1\sim N(0,\sigma_1^2)\)，\(G_2\sim N(\mu_2,\sigma_2^2)\)，其中

\[\begin{aligned} \sigma_1^2&=\frac{6(n-2)}{(n+1)(n+3)}\\ \mu_2&=3-\frac{6}{n+1}\\ \sigma_2^2&=\frac{24n(n-2)(n-3)}{(n+1)^2(n+3)(n+5)} \end{aligned} \]

方差分析

单因素方差分析（实验次数相等）

设因子 \(A\) 有 \(m\) 个水平，分别记为 \(A_1,\dots,A_m\)，在每一种水平下，均进行 \(k\) 次试验，每次试验可记为 \(X_{i,j}\)，观察值为 \(x_{i,j}\)

为了方便，进一步假定这些总体为正态总体且具有相同的方差，于是：

\[X_{i,j}\sim N(\mu_i,\sigma^2) \]

原问题：考察因子 \(A\) 对试验结果是否有显著影响

转化为：同方差总体（正态）期望是否相同

设 \(\varepsilon_i\) 是因子 \(A\) 的第 \(i\) 个水平 \(A_i\) 所引起的差异：\(\varepsilon_i=\mu_i-\mu\) 称为水平 \(A_i\) 的效应，其中 \(\mu=\frac 1m\sum_{i=1}^m\mu_i\) 称为均值（期望）的总平均

相当于假设检验 \(H0:\mu_1=\mu_2=\dots=\mu\) 或 \(H0:\varepsilon_1=\varepsilon_2=\dots=0\)

假设检验是第一个任务，第二个任务是对 \(\mu_1,\dots,\mu_m,\sigma^2\) 进行参数估计

水平 ​\(A_i\)​ 下的样本均值（又称为组内平均值）

\[\overline X_i=\frac 1k\sum_{i=1}^kX_{i,j} \]

数据总平均

\[\overline X=\frac 1m\sum_{i=1}^m\overline X_i=\frac 1{mk}\sum_{i=1}^m\sum_{j=1}^kX_{i,j} \]

总离差平方和

\[S_T=\sum_{i=1}^m\sum_{j=1}^k(X_{i,j}-\overline X)^2 \]

在假设 \(H0\) 成立时，\(S_T\sim \chi^2(mk-1)\)

事实上，\(S_T=(mk-1)S^2\)，其中 \(S^2\) 是总样本方差

误差平方和

\[S_e=\sum_{i=1}^m\sum_{j=1}^k(X_{i,j}-\overline X_i)^2 \]

反应组内（在同一水平下）样本的随机波动

效应平方和（组间平方和）

\[S_A=\sum_{i=1}^m\sum_{j=1}^k(\overline X_i-\overline X)^2=k\sum_{i=1}^m(\overline X_i-\overline X)^2 \]

在一定程度上反应由组间（因子各个水平之间）不同引起的差异

平方和分解公式

\(S_T=S_A+S_e\)

这是因为：

\[(X_{i,j}-\overline X)^2=(X_{i,j}-\overline X_i+\overline X_i-\overline X)^2=(X_{i,j}-\overline X_i)^2+(\overline X_i-\overline X)^2+2(X_{i,j}-\overline X_i)(\overline X_i-\overline X)) \]

同时：

\[\begin{aligned} &\sum_{i=1}^m\sum_{j=1}^k(X_{i,j}-\overline X_i)(\overline X_i-\overline X)\\ =&\sum_{i=1}^m(\overline X_i-\overline X)\sum_{j=1}^k(X_{i,j}-\overline X_i)\\ =&0 \end{aligned} \]

结合一下就证明了

检验统计量

注意到：

\[\frac{S_A}{\sigma^2}\sim \chi^2(m-1) \]

和

\[\frac{S_e}{\sigma^2}\sim \chi^2(n-m) \]

因此检验统计量：

\[F=\frac{S_A/(m-1)}{S_e/(n-m)}\sim F(m-1,n-m) \]

平方和分解定理（证略）

设 \(Q\) 服从自由度为 \(n\) 的 \(\chi^2\) 分布，又

\[Q=Q_1+Q_2+\dots+Q_k \]

其中 \(Q_i\) 是秩为 \(f_i\) 的非负二次型，则 \(Q_i\) 互相独立且分布服从自由度为 \(f_i\) 的 \(\chi^2\) 分布的充要条件是：

\[f_1+f_2+\dots+f_k=n \]

单因素方差分析（实验次数不等）

与相等的类似，检验统计量

\[F=\frac{S_A/(m-1)}{S_e/(n-m)}\sim F(m-1,n-m) \]

平方和的计算

令 \(T_i=\sum_{j=1}^{n_i}x_{i,j}\)，\(CT=n\overline x^2=\frac 1n(\sum_{i=1}^mT_i)^2\)

则

\[S_T=\sum_{i=1}^m\sum_{j=1}^{n_i}(x_{i,j}-\overline x)^2=\sum_{i=1}^m\sum_{j=1}^{n_i}x_{i,j}^2-CT \]

\[\begin{aligned} S_A&=\sum_{i=1}^m\sum_{j=1}^{n_i}(\overline x_i-\overline x)^2\\ &=\sum_{i=1}^m \frac{T_i^2}{n}-CT \end{aligned} \]

\[S_e=S_T-S_A \]

双因子方差分析（双因子间无交互作用）

设 \(A,B\) 是两个因子，\(A_1,\dots,A_n\) 是 \(A\) 的 \(n\) 个水平，\(B_1,\dots,B_m\) 是 \(B\) 的 \(m\) 个水平

实验结果以 \(X_{i,j}\) 表示，其观察值为 \(x_{i,j}\)，假定在每种组合下实验结果 \(X_{i,j}\) 满足 \(N(\mu_{i,j},\sigma^2)\)

并设满足如下定义的效应可加性：\(\mu_{i,j}=\mu+\alpha_i+\beta_j\)，其中 \(\alpha_i\) 为因子水平 \(A_i\) 的效应，\(\beta_j\) 为因子水平 \(B_j\) 的效应

于是，与单因素方差分析类似，可作问题转化：判定 \(A,B\) 两因子对试验指标的影响是否显著的问题

相当于检验一下假设：\(H0:\mu_{1,1}=\mu_{1,2}=\dots=\mu_{i,j}=\dots=\mu_{n,m}\)

一些统计量的定义

数据总平均：

\[\overline X=\overline{X_{\bullet,\bullet}}=\frac 1{nm}\sum_{i=1}^n\sum_{j=1}^mX_{i,j} \]

水平 \(A_i\) 的组内平均值：

\[\overline {X_{i,\bullet} }=\frac{1}{m}\sum_{j=1}^m X_{i,j} \]

水平 \(B_j\) 的组内平均值：

\[\overline {X_{\bullet,j}}=\frac{1}n\sum_{i=1}^nX_{i,j} \]

总离差平方和：

\[S_T=\sum_{i=1}^n\sum_{j=1}^m(X_{i,j}-\overline X)^2 \]

因子 \(A\) 效应平方和（组间）：

\[S_A=\sum_{i=1}^n\sum_{j=1}^m(\overline{X_{i,\bullet}}-\overline X)^2=m\sum_{i=1}^n(\overline{X_{i,\bullet}}-\overline X)^2 \]

因子 \(B\) 效应平方和（组间）：

\[S_B=\sum_{i=1}^n\sum_{j=1}^m(\overline{X_{\bullet,j}}-\overline X)^2=n\sum_{j=1}^m(\overline{X_{\bullet,j}}-\overline X)^2 \]

误差平方和（组内）：

\[S_e=\sum_{i=1}^n\sum_{j=1}^m(X_{i,j}-\overline{X_{i,\bullet}}-\overline{X_{\bullet,j}}+\overline X)^2 \]

与单因素方差分析类似，可得如下分解公式：

\[S_T=S_A+S_B+S_e \]

检验统计量

\[\begin{aligned} F_A&=\frac{S_A/(n-1)}{S_e/(n-1)(m-1)}\sim F(n-1,(n-1)(m-1))\\ F_B&=\frac{S_B/(m-1)}{S_e/(n-1)(m-1)}\sim F(m-1,(n-1)(m-1)) \end{aligned} \]

平方和计算

\[S_A=\frac 1m\sum_{i=1}^nT_{i,\bullet}^2-\frac{T_{\bullet,\bullet}^2}{nm} \]

\[S_B=\frac 1n\sum_{j=1}^mT_{\bullet,j}^2-\frac{T_{\bullet,\bullet}^2}{n,m} \]

\[TS:=\sum_{i=1}^n\sum_{j=1}^m X_{i,j}^2 \]

双因子方差分析（双因子间有交互作用）

每个 \(A_i\) 和 \(B_j\) 都要做 \(r\) 次，设为 \(X_{i,j,k}\sim N(\mu_{i,j,k},\sigma^2)\)

并设有 \(\mu_{i,j,k}=\mu+\alpha_i+\beta_j+\gamma_{i,j}\)

判定有无显著影响的问题转化为检验假设 \(H0:\mu_{i,j,k}=0,\forall i,j,k\)

（这里还有一堆，先略了）

回归分析

一元线性回归模型

样本点 \((x_i,y_i)\)，\(i=1,2,\dots,n\)

其中，变量间的线性相关的关系可用如下数学关系式表示：\(Y=a+bx+\varepsilon\)，其中 \(\varepsilon\sim N(0,\sigma^2)\)

待定常数 \(a,b\) 称为模型参数，即回归系数，且 \(a,b,\sigma^2\) 均不依赖于 \(x\)

回归系数的极大似然估计

为了方便，引入如下统计量：

\[S_{xx}=\sum_{i=1}^n(x_i-\overline x)^2 \]

\[S_{xy}=\sum_{i=1}^n(x_i-\overline x)(y_i-\overline y) \]

\[S_{yy}=\sum_{i=1}^n(y_i-\overline y)^2 \]

由于 \(Y=a+bx+\varepsilon\)，有 \(Y_i\sim N(a+bx,\sigma^2)\)，则似然函数

\[L(a,b)=\prod_{i=1}^n\frac{1}{\sqrt{2\pi}\sigma} e^{-\frac{(y_i-a-bx_i)^2}{2\sigma^2}} \]

极大化这个似然函数

\[\ln L=\sum_{i=1}^n\ln(\frac 1{\sqrt{2\pi}\sigma})-\frac{(y_i-a-bx_i)^2}{2\sigma^2} \]

对 \(a\) 和 \(b\) 的偏导是 \(0\)，解得 \(\hat a=\overline y-b\overline x,\hat b=\frac{S_{xy}}{S_{xx}}\)

最小二乘法

求解 \(\hat a,\hat b\)，使得 \(\sum_{i=1}^n (y_i-a-bx_i)^2=Q(a,b)\) 最小

求偏导解得 \(\hat a,\hat b\) 与极大似然相同

回归方程的显著性检验

相关系数检验法

令

\[r=\frac{S_{xy}}{\sqrt{S_{xx}S_{xy}}} \]

\[|r|=\sqrt{1-\frac{Q}{S_{yy}}} \]

其中 \(Q=\sum_{i=1}^n\delta_i^2=\sum_{i=1}^n(y_i-\hat y_i)^2\)

假设检验 \(H_0:r=0\)，检验统计量

\[t=\frac{\sqrt{n-2}r}{\sqrt{1-r^2}}\sim t(n-2) \]

当 \(|t|>t_{1-\frac \alpha 2}(n-2)\)，拒绝原假设，认为存在线性关系，否则接受原假设，认为不存在线性关系

\(F\) 检验法

假设检验 \(H_0:b=0\)，检验统计量

\[F=\frac{(n-2)U}{Q}\sim F(1,n-2) \]

其中 \(U=\sum_{i=1}^n(\hat y_i-\overline y)^2=\frac{S_{xy}^2}{S_{xx}}\)

课后验证：\(S_{yy}=U+Q\)

相关性质

在 \(H0:b=0\) 或 \(H0:r=0\) 之下，有

\[\frac{S_{yy}}{\sigma^2}\sim \chi^2(n-1) \]

\[\frac U{\sigma^2}\sim \chi^2(1) \]

\[\frac Q{\sigma^2}\sim \chi^2(n-2) \]

且 \(Q\) 与 \(U\) 独立

\[t=\frac{\sqrt{n-2}r}{\sqrt{1-r^2}}=\frac{\sqrt{(n-2)(\frac{S_{yy}-Q}{S_{yy}})}}{\sqrt{\frac{Q}{S_{yy}}}}=\frac{\sqrt{(n-2)\frac{U}{S_{yy}}}}{\sqrt{\frac{Q}{S_{yy}}}}=\frac{\sqrt U}{\sqrt{Q/(n-2)}}\sim t(n-2) \]

而 \(F=t^2=\frac{(n-2)U}{Q}\sim F(1,n-2)\)

多元线性回归

\(Y=b_0+b_1x_1+\dots+b_kx_k+\varepsilon\)，常设 \(\varepsilon\sim N(0,\sigma^2)\)

最小二乘法

​\(Q=\sum_{i=1}^n(y_i-\hat y_i)^2\)​ 对每个 ​\(b_i\)​ 求偏导令其为 ​\(0\)​