【10】极大似然估计量的性质

【10】极大似然估计量的性质

(定理1) 设\(X_{(i)}(i=1,...,n)\sim N_p(\mu,\Sigma)，(n>p)\),则（\(\mu,\Sigma\)）'s MLE is:

\[\hat{\mu}=\overline{X}=\frac1n\sum_{i=1}^nX_{(i)}\\ \hat\Sigma=\frac1nA=\frac1n\sum_{i=1}^n(X_{(i)}-\overline{X})(X_{(i)}-\overline{X})' \]

(定理2) 若\(\overline{X},A\)分别为\(p\)元正态总体\(N_p(\mu,\Sigma)\)的样本均值向量，和样本离差阵，则：

1. \(\overline{X}\sim N_p(\mu,\frac1n\Sigma)\);
2. \(A=^d\sum_{t=1}^{n-1}Z_tZ_t'\),其中，\(Z_1,...,Z_{n-1}\)独立同\(N_p(0,\Sigma)\)分布；
3. \(\overline{X},A\)相互独立；
4. \(P\{A>0\}=1\Leftrightarrow n>p\).

讨论何时\(A\)为一个正定矩阵；

• 一元的一些结论：

if \(X_1,...X_n\) iid \(N(\mu,\sigma^2)\)：

1. \(\overline{X}\sim N(\mu,\frac{\sigma^2}{n})\);
2. \(\frac{\sum_{i-1}^n(X_i-\overline{X})^2}{\sigma^2}\sim\chi^2(n-1)\);
3. \(\overline{X}\)与\(s^2=\frac1{n-1}\sum_{i=1}^n(X-\overline{X})^2\)独立；

证明：

设 \(\Gamma\) 为 \(n\) 阶正交阵（不同行内积为 0 , 同行内积为 1），具有以下形式：

\[\Gamma= \left[ \begin{array}{ccc} \gamma_{11}&\dots&\gamma_{1n}\\ \vdots&&\vdots\\ \gamma_{(n-1),1}&\dots&\gamma_{(n-1),n}\\ \frac1{\sqrt{n}}&\dots&\frac1{\sqrt{n}} \end{array} \right]=(\gamma_{ij})_{n\times n} \]

给 \(X\) 做线性变换 \(Z=\Gamma X\) 即：

\[Z=\left[ \begin{array}{c} Z_1'\\ \vdots\\ Z_n' \end{array} \right]=\Gamma \left[ \begin{array}{c} X_{(1)}'\\ \vdots\\ X_{(n)}' \end{array} \right]=\Gamma X \]

则：

\[\begin{align} Z'=&X'\Gamma'\\\\ (Z_1,...,Z_n)=&(X_{(1)},...,X_{(n)})\Gamma'\\ Z_t=(X_{(1)},...,X_{(n)})&\left[ \begin{array}{c} \gamma_{t1}\\ \vdots\\ \gamma_{tn} \end{array} \right],(t=1,...,n) \end{align} \]

\(Z_t\)为\(p\)维随机向量，而且是\(p\)维正态 r.v. \(X_{(1)}',...,X_{(n)}'\)的线性组合，故\(Z_t\)也是\(p\)维正态随机向量。且：

\[E(Z_t)=E(\sum_{i=1}^nr_{ti}X_{(i)})=\sum_{i=1}^nr_{ti}E(X_{(i)})=\mu\sum_{i=1}^nr_{ti}= \begin{cases} \mu\cdot(\frac1{\sqrt{n}}\sum_{i=1}^nr_{ti})\cdot\sqrt{n}&=0&当\,t\neq n\,时，\\ \mu\cdot n\frac1{\sqrt{n}}&=\sqrt{n}\mu&当\,t=n\,时\\ \end{cases} \]

\[\begin{align} Cov(Z_{\alpha},Z_{\beta})=&E[(Z_{\alpha}-E(Z_\alpha))(Z_{\beta}-E(Z_{\beta}))']=\sum_{i=1}^n(r_{\alpha i}r_{\beta i})\Sigma= \begin{cases} O&\alpha\neq\beta,\\ \Sigma&\alpha=\beta \end{cases} \end{align} \]

• \(\overline{X}\sim N_p(\mu,\frac1n\Sigma)\);

\(Z_n=\frac1{\sqrt{n}}\sum_{\alpha=1}^nX_{(\alpha)}=\sqrt{n}\overline{X}\sim N_p(\mu\sqrt{n},\Sigma)\)

• \(A=^d\sum_{t=1}^{n-1}Z_tZ_t'\),其中，\(Z_1,...,Z_{n-1}\)独立同\(N_p(0,\Sigma)\)分布；

\(\sum_{\alpha=1}^nZ_\alpha Z_\alpha'=(Z_1,...,Z_n)\left(\begin{array}{c}Z_1'\\\vdots\\Z_{n}'\end{array}\right)=Z'Z=X'\Gamma'\cdot\Gamma X=\sum_{\alpha=1}^nX_\alpha X_\alpha'\)

于是：

\[\sum_{\alpha=1}^{n-1}Z_\alpha Z_\alpha'=\sum_{\alpha=1}^nX_\alpha X_\alpha'-Z_{n}Z_{n}'=\sum_{\alpha=1}^nX_\alpha X_\alpha'-n\overline{X}\overline{X}'=A \]

• \(\overline{X},A\)相互独立；

\[A=g(\sum_{t=1}^{n-1}Z_tZ_t')\\ \overline{X}=f(Z_n) \]

而\(Z_i,Z_j\)相互独立（\(i\neq j\)）时，则\(A、\overline{X}\)也相互独立。

• \(P\{A>0\}=1\Leftrightarrow n>p\).

\(B=(Z_1,...,Z_{n-1})\)，记\(A=BB'\)，因为\(A=BB'\)，\(p\times(n-1)\)矩阵，显然\(rank(A)=rank(B)\),当\(A\)为正定矩阵时，\(rank(A)=p\),因此\(rank(B)=p\)，故 \(（n-1）\geq p\),即\(n>p\).

(无偏性)

\[E(\overline{X})=\left(\begin{array}{c} \frac1n\sum_{i=1}^nE(x_{i1})\\ \vdots\\ \frac1n\sum_{i=1}^nE(x_{ip})\\ \end{array}\right)= \left(\begin{array}{c} \mu_1\\\vdots\\\mu_p \end{array}\right)=\mu \]

\[E(A)=E\left(\sum_{i=1}^{n-1}Z_iZ_i'\right)=\sum_{i=1}^{n-1}E(Z_iZ_i')=\sum_{i=1}^{n-1}D(Z_i)=(n-1)\Sigma\neq\Sigma \]

故\(\hat{\Sigma}=\frac1nA\)不是\(\Sigma\)的无偏估计，应修正为：\(S=\frac1{n-1}A\).