由于本答案由少部分人完成，难免存在错误，如有不同意见欢迎在评论区提出。
第一题
一、已知零均值平稳序列\(\{X_t\}\)的自协方差函数为
\[\gamma_0=1,\quad \gamma_{\pm 1}=\rho,\quad \gamma_k=0,|k|\ge 2.
\]
- 计算\(\{X_t\}\)的偏相关系数\(a_{1,1}\)，\(a_{2,2}\)。
- 计算最佳线性预测\(L(X_3|X_2)\)，\(L(X_3|X_2,X_1)\)。
- 计算预测的均方误差\(\mathbb{E}[X_3-L(X_3|X_2)]^2\)，\(\mathbb{E}[X_3-L(X_3|X_2,X_1)]^2\)。
- 证明：\(\rho\)应满足\(|\rho|\le \frac{1}{2}\)。
- 若\(\rho=0.4\)，计算\(\{X_t\}\)的谱密度函数，给出\(\{X_t\}\)所满足的模型。
解：(1)由Yule-Walker方程，\(a_{1,1}=\gamma_1/\gamma_0=\rho\)，
\[\begin{bmatrix}
1 & \rho \\ \rho & 1
\end{bmatrix}\begin{bmatrix}
a_{2,1} \\ a_{2,2}
\end{bmatrix}=\begin{bmatrix}
\rho \\ 0
\end{bmatrix},
\]
解得
\[a_{2,2}=-\frac{\rho^2}{1-\rho^2}.
\]
(2)由预测方程，有\(L(X_3|X_2)=\rho X_2\)。设\(L(X_3|X_2,X_1)=a_2X_2+a_1X_1\)，则
\[\begin{bmatrix}
1 & \rho \\
\rho & 1
\end{bmatrix}\begin{bmatrix}
a_{1} \\ a_2
\end{bmatrix}=\begin{bmatrix}
0 \\ \rho
\end{bmatrix},\\
a_1=-\frac{\rho^2}{1-\rho^2},\quad a_2=\frac{\rho}{1-\rho^2}.
\]
所以
\[L(X_3|X_2,X_1)=\frac{-\rho^2X_1+\rho X_2}{1-\rho^2}.
\]
(3)预测的均方误差是
\[\mathbb{E}(X_3-\rho X_2)^2=(1+\rho^2)\gamma_0-2\rho\gamma_1=1-\rho^2,\\
\begin{aligned}
&\quad \mathbb{E}\left(X_3-\frac{-\rho^2X_1+\rho X_2}{1-\rho^2} \right)^2 \\
&=\left[\frac{(1-\rho^2)^2+\rho^4+\rho^2}{(1-\rho^2)^2}\right]-2\rho\left[\frac{\rho^3+\rho(1-\rho^2)}{(1-\rho^2)^2} \right]\\
&=\frac{2\rho^4-3\rho^2+1}{(1-\rho^2)^2}\\
&=\frac{1-2\rho^2}{1-\rho^2}.
\end{aligned}
\]
(4)由于\(\{X_t\}\)的自协方差函数1后截尾，所以它是一个\({\rm MA}(1)\)模型，即存在\(b \le 1\)，白噪声\(\varepsilon_t\sim {\rm WN}(0,\sigma^2)\)使得
\[X_t=\varepsilon_t+b\varepsilon_{t-1}.
\]
于是
\[\gamma_0=(1+b^2)\sigma^2=1,\\
\gamma_1=b\sigma^2=\rho,
\]
所以
\[\rho(b)=\frac{b}{1+b^2},
\]
在\(b\in[-1,1]\)上\(\rho(b)\)是单调的，所以
\[-\frac{1}{2}\le \rho(-1)\le \rho\le \rho(1)=\frac12.
\]
(5)由谱密度反演公式，容易得到
\[\begin{aligned}
f(\lambda)&=\frac{1}{2\pi}\left[1+0.8\cos\lambda \right]\\
&=\frac{1}{2\pi}\left[\frac{4}{5}\left(1+\cos \lambda+\frac{1}{4} \right) \right]\\
&=\frac{(2/\sqrt{5})^2}{2\pi}\left|1+\frac{1}{2}(e^{{\rm i}\lambda}) \right|^2.
\end{aligned}
\]
所以
\[X_t=\varepsilon_t+\frac{1}{2}\varepsilon_{t-1},\quad \{\varepsilon_t\}\sim {\rm WN}\left(0,\frac{4}{5}\right).
\]
第二题
二、设零均值平稳序列\(\{X_t\}\)的自协方差函数满足
\[\gamma_k=\frac{18}{7}\times\left(\frac{2}{5} \right)^{|k|},k\ne 0,k\in\mathbb{Z}.
\]
- 当\(\gamma_0\)取何值时，该序列为\({\rm AR}(1)\)序列？说明理由并给出相应的模型。
- 若\(\gamma_0=\frac{11}{7}\)，该序列为\({\rm ARMA}(1, 1)\)序列吗？说明理由并给出相应的模型。
解：为\({\rm AR}(1)\)序列的充要条件是
\[\gamma_k-a\gamma_{k-1}=0,\quad \forall k\ge 1.
\]
当\(k=2\)时，解得\(a=\frac{2}{5}\)，所以当\(k=1\)时，有
\[\gamma_1=\frac{2}{5}\gamma_0=\frac{36}{35},
\]
即\(\gamma_0=\frac{18}{7}\)。此时，定义\(a=\frac{2}{5}\)，令\(\varepsilon_t=X_t-aX_{t-1}\)，有\(\mathbb{E}(\varepsilon_t)=0\)。对\(\forall t>s\)，
\[\begin{aligned}
\mathbb{E}(\varepsilon_tX_s)&=\mathbb{E}\left[(X_t-aX_{t-1})X_s \right]\\
&=\gamma_{t-s}-a\gamma_{t-s-1}\\
&=0;\\
\mathbb{E}(\varepsilon_t\varepsilon_s)&=\mathbb{E}[\varepsilon_t(X_{s}-aX_{s-1})]=0,\\
\mathbb{E}(\varepsilon_t^2)&=\mathbb{E}[(X_t-aX_{t-1})^2]\\
&=\frac{18}{7}(1-a^2)\\
&=\frac{54}{25}.
\end{aligned}
\]
即\(\{\varepsilon_t\}\sim {\rm WN}(0,\frac{54}{25})\)。此时
\[X_t=aX_{t-1}+\varepsilon_t,
\]
所以\(\{X_t\}\)是\({\rm AR}(1)\)序列。
(2)此时令\(Y_t=X_t-aX_{t-1}\)，有
\[\begin{aligned}
\mathbb{E}(Y_t^2)&=\gamma_0(1+a^2)-2a\gamma_1\\
&=\frac{11}{7}\frac{29}{25}-\frac{4}{5}\frac{36}{35}\\
&=1,\\
\mathbb{E}(Y_tY_{t-1})&=(1+a^2)\gamma_1-a(\gamma_0+\gamma_2)\\
&=\frac{29}{25}\frac{36}{35}-\frac{2}{5}\frac{347}{175}\\
&=\frac{2}{5},\\
\end{aligned}
\]
当\(k\ge 2\)时，可以验证
\[\mathbb{E}(Y_tY_{t-k})=(1+a^2)\gamma_k-a(\gamma_{k-1}+\gamma_{k+1})=(\gamma_k-a\gamma_{k-1})-a(\gamma_{k+1}-\gamma_k)=0.
\]
所以\(\{Y_t\}\)的自协方差函数1后截尾，是一个\({\rm MA}(1)\)序列，容易得出其模型系数为\(b=\frac{1}{2}\)，\(\sigma^2=\frac{4}{5}\)，所以原模型是一个\({\rm ARMA}(1,1)\)模型，满足
\[X_t=\frac{2}{5}X_{t-1}+\varepsilon_t+\frac{1}{2}\varepsilon_{t-1},\quad\{\varepsilon_t\}\sim {\rm WN}(0,\sigma^2).
\]
第三题
三、已知零均值平稳序列\(\{X_t\}\)，其自协方差函数满足
\[\gamma_0=1.2,\quad \gamma_k=0.9\gamma_{k-1}-0.2\gamma_{k-2},\quad k\ge 1.
\]
求证：\(\{X_t\}\)是一个\({\rm AR}(2)\)序列，并给出\({\rm AR}(2)\)模型。
解：构造辅助序列为
\[\epsilon_t=X_t-0.9X_{t-1}+0.2X_{t-2},\quad t\in\mathbb{Z}.
\]
则当\(t>s\)时，
\[\begin{aligned}
\mathbb{E}(\epsilon_tX_s)& =\mathbb{E}[X_s(X_t-0.9X_{t-1}+0.2X_{t-2})]\\
&=\gamma_{t-s}-0.9\gamma_{t-s-1}+0.2\gamma_{t-s-2}\\
&=0,\\
\mathbb{E}(\epsilon_t\epsilon_s)&=\mathbb{E}[\epsilon_t(X_s-0.9X_{s-1}+0.2X_{s-2})]\\
&=0.\\
\mathbb{E}(\epsilon_t^2)&=\mathbb{E}[(X_t-0.9X_{t-1}+0.2X_{t-2})^2]\\
&=(1+0.81+0.04)\gamma_0-2(0.9+0.18)\gamma_1+0.4\gamma_2\\
&=1.85\gamma_0-2.16\gamma_1+0.4\gamma_2.
\end{aligned}
\]
而
\[\gamma_0=1.2,\\
\gamma_1=0.9\gamma_0-0.2\gamma_{-1},\quad \gamma_1=0.9,\\
\gamma_2=0.9\gamma_1-0.2\gamma_0=0.57.
\]
所以\(\mathbb{D}(\epsilon_t)=0.504\)，满足的\({\rm AR}(2)\)模型是
\[X_t=0.9X_{t-1}-0.2X_{t-2}+\epsilon_t,\quad \{\epsilon_t\}\sim {\rm WN}(0,0.504).
\]
第四题
四、设平稳序列\(\{X_t\}\)是\({\rm MA}(1)\)过程，满足
\[X_t=\varepsilon_t+0.5\varepsilon_{t-1},\quad \varepsilon_t\sim {\rm WN}(0,1).
\]
记\(\{X_t\}\)的一步预报为
\[\left\{\begin{array}l
\hat X_1=0, \\
\hat X_2=\theta_{1,1}(X_1-\hat X_1), \\
\hat X_3=\theta_{2,1}(X_2-\hat X_2)+\theta_{2,2}(X_1-\hat X_1).
\end{array}\right.
\]
均方误差为\(\nu_n=\mathbb{E}(X_{n+1}-\hat X_{n+1})^2\)，求常数\(\theta_{1,1},\theta_{2,1},\theta_{2,2}\)及\(\nu_0,\nu_1,\nu_2\)。
解：设\(b=0.5\)，\(Z_n=X_n-\hat X_n\)，则
\[\begin{aligned}
\hat X_2&=\theta_{1,1}Z_1, \\
\nu_0&=\mathbb{E}(X_1^2)=1+b^2 \\
\mathbb{E}(\hat X_2Z_1)&=\theta_{1,1}\nu_0=\mathbb{E}(X_2X_1)=b,\\
\theta_{1,1}&=\frac{b}{1+b^2},\\
\nu_1&=\mathbb{E}(X_2-\theta_{1,1}Z_1)^2 \\
&=\gamma_0-\theta_{1,1}^2\mathbb{E}(Z_1^2)\\
&=\frac{1+b^2+b^4}{1+b^2},\\
\hat X_3&=\theta_{2,1}Z_2+\theta_{2,2}Z_1,\\
\mathbb{E}(\hat X_3Z_1)&=\theta_{2,2}\nu_0=\mathbb{E}(X_3X_1)=0,\\
\mathbb{E}(\hat X_3Z_2)&=\theta_{2,1}\nu_1\\
&=\mathbb{E}[X_3(X_2-\theta_{1,1}Z_1)]\\
&=\gamma_1-\theta_{1,1}\mathbb{E}(X_3Z_1)\\
&=b,\\
\theta_{2,1}&=\frac{b}{\nu_1}=\frac{b(1+b^2)}{1+b^2+b^4},\\
\nu_2&=\gamma_0-\theta_{2,1}^2\nu_1^2=\frac{1+b^2+b^4+b^6}{1+b^2+b^4}.
\end{aligned}
\]
代入\(b=0.5\)，计算得到
\[\theta_{1,1}=\frac{2}{5},\theta_{2,2}=0,\theta_{2,1}=\frac{10}{21},\\
\nu_0=\frac{5}{4},\nu_1=\frac{21}{20},\nu_2=\frac{85}{84}.
\]
第五题
五、设\(\{X_t\}\)满足模型\(X_t-aX_{t-1}=\varepsilon_t\)，其中\(0<a<1\)，\(\{\varepsilon_t\}\)为标准正态白噪声。
- 已知观测样本\(x_1,x_2,\cdots,x_n\)，求参数\(a\)的极大似然估计。
- 证明\(\{X_t\}\)是纯非决定性平稳序列。
- 记\(\bar X_n=\frac{1}{n}\sum_{k=1}^n X_k\)，问\(\bar X_n\)是否依概率收敛？
解：(1)样本残差序列为
\[\hat \varepsilon_t=x_t-ax_{t-1},\quad t\ge 2,
\]
所以似然函数为
\[L(a)=\frac{1}{(2\pi)^{\frac{n-1}{2}}}\exp\left[-\frac{1}{2}\sum_{t=2}^n(x_t-ax_{t-1})^2 \right],\\
l(a)=C-\frac{1}{2}\sum_{t=2}^n(x_t-ax_{t-1})^2, \\
\frac{{\rm d}l(a)}{{\rm d}a}=\sum_{t=2}^nx_{t-1}(x_t-ax_{t-1})=0,
\]
得到
\[\hat a=\frac{\sum_{t=2}^nx_tx_{t-1}}{\sum_{t=2}^nx_{t-1}^2}.
\]
(2)\({\rm AR}(1)\)序列有Wold展开式为
\[X_t=\sum_{j=0}^\infty a_j\varepsilon_{t-j},\quad t\in \mathbb{Z}.
\]
定义\(H_n=\overline{\text{sp}}(X_n,X_{n-1},\cdots)\)，\(M_n=\overline{\text{sp}}(\varepsilon_n,\varepsilon_{n-1},\cdots)\)，则\(H_n=M_n\)，
\[\begin{aligned}
\sigma_k^2&=\lim_{m\to \infty}\sigma_{k,m}^2\\
&=\lim_{m\to \infty}\mathbb{E}[X_{n+k}-L(X_{n+k}|X_n,X_{n-1},\cdots,X_{m+1})]^2\\
&=\lim_{m\to \infty}\mathbb{E}[X_k-L(X_k|X_0,X_{-1},\cdots,X_{-m+1})]\\
&=\mathbb{E}[X_k-L(X_k|H_0)]^2\\
&=\mathbb{E}[X_k-L(X_k|M_0)]^2 \\
&=\mathbb{E}\left(\sum_{j=0}^{k-1} a_k\varepsilon_{k-j} \right)^2 \\
&=\sum_{j=0}^{k-1} a_j^2.
\end{aligned}
\]
即\(\{X_k\}\)是纯非决定性平稳序列。
(3)对\(\bar X_n\)进行变形，得到
\[\begin{aligned}
\bar X_n&=\frac{X_1+X_2+\cdots+X_n}{n} \\
&=\frac{a(X_0-X_n)+\varepsilon_1+\cdots+\varepsilon_n}{n(1-a)}\\
&=\frac{a(X_0-X_n)}{n(1-a)}+\frac{1}{n(1-a)}\sum_{j=1}^n\varepsilon_j.
\end{aligned}
\]
对前一部分，
\[\mathbb{P}\left(\frac{a|X_0-X_n|}{n(1-a)}>\epsilon \right)\le \frac{a^2\mathbb{D}(X_0-X_n)}{\epsilon^2n^2(1-a^2)}\to 0,\\
\]
对后一部分，由于\(\sum_{j=1}^n\varepsilon_j\sim N(0,n)\)，所以
\[\mathbb{P}\left(\frac{|\sum_{j=1}^n\varepsilon_j|}{n(1-a)}>\epsilon \right)\le \frac{1}{\epsilon^2n(1-a)^2}\to 0,
\]
所以\(\bar X_n\)也依概率收敛于0。
或者使用\(\gamma_k\to 0\)的性质来证明均值的均方收敛性。
