第一题
一、设\(\{X_t\}\)满足\({\rm AR}(2)\)模型\(X_t-a_1X_{t-1}-0.2X_{t-2}=\varepsilon_t\)，其中\(\{\varepsilon_t\}\sim {\rm WN}(0,1)\)。
- 实数\(a_1\)应该满足什么条件？
- 已知\(a_1=0.1\)，计算\(\{X_t\}\)的自相关函数\(\{\rho_k\}\)。
- 已知观测样本\(x_1,\cdots,x_n\)，求参数\(a_1\)的极大似然估计。
解：(1)\({\rm AR}(2)\)模型的稳定域是
\[|a_2|<1,\quad a_2\pm a_1<1,
\]
这里\(a_2=0.2\)，即
\[0.2-a_1<1,\quad 0.2+a_1<1,
\]
解得\(a_1\in(-0.8,0.8)\)。
(2)由于
\[\rho_1=\frac{a_1}{1-a_2}=\frac{1}{8}
\]
特征方程为\(A(z)=1-0.1z-0.2z^2\)，构造方程\(f(\lambda)=\lambda^2-0.1\lambda-0.2\)，其两根为\(\lambda_1=0.5\)，\(\lambda_2=-0.4\)，所以
\[\rho_k=c_1\lambda_1^k+c_2\lambda_2^k,\\
c_1+c_2=1,\\
0.5c_1-0.4c_2=\frac{1}{8}.
\]
解得\(c_1=\frac{7}{12},c_2=\frac{5}{12}\)，即
\[\rho_k=\frac{7}{12}\cdot\left(\frac{1}{2}\right)^k+\frac{5}{12}\cdot\left(-\frac{2}{5} \right)^k.
\]
(3)由于\(\varepsilon_t\sim N(0,1)\)，残差序列为\(\hat\varepsilon_t=x_t-a_1x_{t-1}-0.2x_{t-2}\)，这里\(t=3,\cdots,n\)，故似然函数为
\[L(a_1)=\frac{1}{(2\pi)^{\frac{n-2}{2}}}\exp\left[-\frac{1}{2}\sum_{j=3}^n(x_t-a_1x_{t-1}-0.2x_{t-2})^2 \right],\\
l(a_1)=C-\frac{1}{2}\sum_{j=3}^n(x_t-a_1x_{t-1}-0.2x_{t-2})^2,\\
\frac{{\rm d}l(a_1)}{{\rm d}a_1}=\sum_{j=3}^nx_{t-1}(x_t-a_1x_{t-1}-0.2x_{t-2})=0,
\]
解得
\[a_1=\frac{\sum_{j=3}^{n}(x_{t-1}x_t-0.2x_{t-1}x_{t-2})}{\sum_{j=3}^nx_{t-1}^2}.
\]
第二题
二、设序列\(\{X_t\}\)满足模型\(X_t=b^2\varepsilon_t+b\varepsilon_{t-1},b>0\)，\(\{\varepsilon_t\}\sim {\rm WN}(0,1)\)。
- 证明\(\{X_t\}\)是平稳序列；
- 给出\(\{X_t\}\)的谱密度\(f(\lambda)\)；
- 序列\(\{X_t\}\)能否为\({\rm MA}(1)\)？若可以，给出所满足的模型。
解：(1)\(\mathbb{E}(X_t)=0\)，\(\mathbb{D}(X_t)=b^4+b^2\)，当\(k=1\)时，
\[\mathbb{E}(X_tX_{t-1})=\mathbb{E}(b^2\varepsilon_t+b\varepsilon_{t-1})(b^2\varepsilon_{t-1}+b\varepsilon_{t-2})=b^3.
\]
当\(k\ge 2\)时\(\mathbb{E}(X_tX_{t+k})=0\)，所以
\[\gamma_k=\left\{\begin{array}l
b^2+b^4,& k=0, \\
b^3,& k=\pm1,\\
0,& \text{otherwise}. \\
\end{array}\right.
\]
证明\(\{X_t\}\)是一个平稳序列。
(2)由谱密度反演公式，
\[\begin{aligned}
f(\lambda)&=\frac{1}{2\pi}\sum_{j=-1}^j\gamma_je^{-{\rm i}j\lambda}\\
&=\frac{1}{2\pi}(b^2+b^4+b^3(e^{{\rm i}\lambda}+e^{-{\rm i}\lambda}))\\
&=\frac{b^2}{2\pi}\left[1+2b\cos \lambda+b^2 \right]\\
&=\frac{b^2}{2\pi}\left|1+be^{{\rm i}\lambda} \right|^2=\frac{b^2}{2\pi}\left|b+e^{{\rm i}\lambda} \right|^2\\
&=\frac{b^4}{2\pi}\left|1+\frac{1}{b}e^{{\rm i}\lambda} \right|^2.
\end{aligned}
\]
(3)可以：当\(b\le 1\)时，满足的模型为
\[X_t=\epsilon_t+b\epsilon_{t-1},\quad \{\epsilon_t\}\sim {\rm WN}(0,b^2),\\
\]
当\(b>1\)时，满足的模型为
\[X_t=\eta_t+\frac{1}{b}\eta_{t-1},\quad \{\eta_t\}\sim {\rm WN}(0,b^4).
\]
下面对\(b<1\)的情形进行验证，此时令\(B(z)=1+bz\)，它在\(|z|\le 1\)上没有根，
\[\epsilon_t=B^{-1}(\mathscr B)X_t,\\
f_\varepsilon(\lambda)=\frac{1}{|B(e^{{\rm i}\lambda})|^2}f(\lambda)=\frac{b^2}{2\pi}.
\]
所以\(\{\epsilon_t\}\sim {\rm WN}(0,\sigma^2)\)，对\(b>1\)时可以类似证明。当\(b=1\)时，\(X_t\)本身已经是一个\({\rm MA}(1)\)模型。
第三题
三、已知零均值平稳序列\(\{X_t\}\)的自协方差函数为\(\{\gamma_k\}\)，满足\(\gamma_0\)，且当\(k\to \infty\)时\(\gamma_k\to 0\)。
- 证明\(\Gamma_2\)可逆。
- 计算\(\{X_t\}\)的偏相关系数\(a_{1,1},a_{2,2}\)。
- 记\(Y_1=X_1-L(X_1|X_2)\)，\(Y_2=X_3-L(X_3|X_2)\)，\(\rho_{Y_1Y_2}\)表示它们之间的相关系数，证明\(a_{2,2}=\rho_{Y_1Y_2}\)。
解：(1)\(\gamma_0>0\)故\(\Gamma_1\)可逆。
假定\(\Gamma_2\)不可逆，则存在一个\(\beta=(1,b)\)且\(b\ne 0\)，使得\(\mathbb{D}(X_1+bX_2)=\beta'\Gamma_2\beta=0\)，这等价于\(X_2\)可以被\(X_1\)线性表示。由时间序列的平稳性，\(X_k\)都可以被\(X_1\)线性表示，即\(X_k=b^kX_1\)。由时间序列的平稳性，有
\[\mathbb{E}(X_k^2)=b^{2k}\mathbb{E}(X_1^2)\Rightarrow (1-b^{2k})=0,\quad \forall k.
\]
因此\(b=\pm 1\)。但此时\(X_1=(-1)^{k-1}X_k\)，所以
\[\gamma_k=\mathbb{E}(X_1X_{k+1})=(-1)^{k-1}\gamma_0,
\]
与\(\gamma_k\to 0\)矛盾。
(2)由Yule-Walker方程，\(a_{1,1}=\gamma_1/\gamma_0\)，
\[\begin{bmatrix}
\gamma_0 & \gamma_1 \\ \gamma_1 & \gamma_0
\end{bmatrix}\begin{bmatrix}
a_{2,1} \\ a_{2,2}
\end{bmatrix}=\begin{bmatrix}
\gamma_1 \\ \gamma_2
\end{bmatrix},
\]
所以
\[a_{2,2}=\frac{\gamma_0\gamma_2-\gamma_1^2}{\gamma_0^2-\gamma_1^2}.
\]
(3)由预测方程，
\[L(X_1|X_2)=\frac{\gamma_1}{\gamma_0}X_2,\quad L(X_3|X_2)=\frac{\gamma_1}{\gamma_0}X_2,
\]
所以
\[\begin{aligned}
{\rm Cov}(Y_1,Y_2)&={\rm Cov}(X_1,X_3)-\frac{\gamma_1}{\gamma_0}{\rm Cov}(X_1,X_2)-\frac{\gamma_1}{\gamma_0}{\rm Cov}(X_2,X_3)+\frac{\gamma_1^2}{\gamma_0^2}{\rm Cov}(X_1,X_3)\\
&=\gamma_2-2\rho_1\gamma_1+\rho_1^2\gamma_2,
\end{aligned}
\]
而
\[\mathbb{D}(Y_1)=\mathbb{D}(Y_2)=\gamma_0+\rho_1^2\gamma_0-2\rho_1\gamma_1,
\]
所以
\[\rho_{Y_1Y_2}=\frac{\gamma_2-2\rho\gamma_1+\rho_1^2\gamma_2}{\gamma_0-2\rho_1\gamma_1+\rho_1^2\gamma_0}=\frac{\rho_2-\rho_1^2}{1-\rho_1^2}=\frac{\gamma_0\gamma_2-\gamma_1^2}{\gamma_0^2-\gamma_1^2}=a_{2,2}.
\]
第四题
四、设\(\{X_t\}\)满足\({\rm AR}(1)\)模型\(X_t-aX_{t-1}=\varepsilon_t\)，其中\(\{\varepsilon_t\}\sim {\rm WN}(0,1)\)，设\(\{\eta_t\}\)是和\(\{\varepsilon_t\}\)独立的\({\rm WN}(0,1)\)，令\(Y_t=X_t+\eta_t\)。
- 问\(L(Y_3|\varepsilon_1+\eta_1,\varepsilon_2+\eta_2)=L(Y_3|\varepsilon_1,\varepsilon_2)+L(Y_3|\eta_1,\eta_2)\)成立吗？说明理由。
- 证明\(\{Y_t\}\)是\({\rm ARMA}(1, 1)\)序列。
解：(1)由于\(\varepsilon_1,\varepsilon_2,\eta_1,\eta_2\)相互独立，所以
\[L(Y_3|\varepsilon_1,\varepsilon_2)+L(Y_3|\eta_1,\eta_2)=L(Y_3|\varepsilon_1,\varepsilon_2,\eta_1,\eta_2),\\
Y_3=X_3+\eta_3=a^3X_0+a^2\varepsilon_1+a\varepsilon_2+\varepsilon_3+\eta_3.
\]
设\(\upsilon=(\varepsilon_1,\varepsilon_2,\eta_1,\eta_2)'\)，则\(\mathbb{D}(\upsilon)=I_4\)，由预测方程，预测系数为
\[\boldsymbol \alpha=\mathbb{E}(\upsilon Y_3)=\begin{bmatrix}
a^2 \\ a \\ 0 \\ 0
\end{bmatrix},
\]
设\(\epsilon=(\varepsilon_1+\eta_1,\varepsilon_2+\eta_2)\)，则\(\mathbb{D}(\epsilon)=2I_2\)，由预测方程，预测系数为
\[\boldsymbol\beta=\mathbb{E}(\epsilon Y_3)=\begin{bmatrix}
\frac{1}{2}a^2 \\ \frac{1}{2}a
\end{bmatrix}.
\]
所以
\[L(Y_3|\varepsilon_1+\eta_1,\varepsilon_1+\varepsilon_2)=\frac{a^2}{2}(\varepsilon_1+\eta_1)+\frac{a}{2}(\varepsilon_2+\eta_2)\ne a^2\varepsilon_1+a\varepsilon_2=L(Y_3|\varepsilon_1,\varepsilon_2,\eta_1,\eta_2).
\]
即原式不成立。
(2)参见这篇文章。
第五题
五、设平稳序列\(\{X_t\}\)是零均值\({\rm ARMA}(1,1)\)过程：
\[X_t-aX_{t-1}=\varepsilon_t+b\varepsilon_{t-1},\quad 0<b<1,\{\varepsilon_t\}\sim {\rm WN}(0,1).
\]
若\(\{X_t\}\)的自协方差函数满足
\[\gamma_k=\frac{72}{25}\times\left(\frac{1}{2} \right)^{|k|},\quad k\ne 0,k\in\mathbb{Z}.
\]
-
求常数\(a,b\)以及\(\gamma_0\)。
-
作变换
\[Y_1=X_1,\\
Y_t=X_t-aX_{t-1},\quad t\ge 2,
\]
记\(\hat X_{n+1}=L(X_{n+1}|X_n,\cdots,X_1)\)，\(\hat Y_{n+1}=L(Y_{n+1}|Y_n,\cdots,Y_1)\)，验证：当\(n=1,2\)时，
\[X_{n+1}-\hat X_{n+1}=Y_{n+1}-\hat Y_{n+1}.
\]
-
记\(\{Y_t\}\)的一步预报为\(\hat Y_1=0\)，\(\hat Y_{n+1}=\theta_{n,1}(Y_n-\hat Y_n)\)，\(n\ge 1\)，求常数\(\theta_{1,1},\theta_{2,1}\)；
-
试导出\(\hat X_1,\hat X_2,\hat X_3\)的递推预报公式。
解：(1)
由于\(k>1\)时，
\[\gamma_k-a\gamma_{k-1}=\frac{72}{25}\cdot\left(\frac{1}{2^k}-\frac{a}{2^{k-1}} \right)=0,
\]
所以\(a=\frac{1}{2}\)。又因为
\[\gamma_0=a^2\gamma_0+1+b^2+2ab\Rightarrow \frac{3}{4}\gamma_0=1+b+b^2,\\
\gamma_1=a\gamma_0+b\Rightarrow \frac{36}{25}=\frac{1}{2}\gamma_0+b,
\]
所以\(b=\frac{2}{5}\)，\(\gamma_0=\frac{52}{25}\)。
(2)当\(n=1\)时，\(Y_2=X_2-aX_1\)，
\[\hat Y_2=L(Y_2|Y_1)=L(X_2-aX_1|X_1)=\hat X_2-aX_1,\\
Y_2-\hat Y_2=X_2-aX_1-(\hat X_2-aX_1)=X_2-\hat X_2.
\]
当\(n=2\)时，由于\(Y_1=X_1\)，\(Y_2=X_2-aX_1\in\text{sp}(X_1,X_2)\)，
\[X_2=Y_2+aY_1\in\text{sp}(Y_1,Y_2),
\]
所以\(\text{sp}(X_1,X_2)=\text{sp}(Y_1,Y_2)\)，从而
\[\hat Y_3=L(Y_3|X_1,X_2)=L(X_3-aX_2|X_1,X_2)=\hat X_3-aX_2,\\
Y_3-\hat Y_3=X_3-aX_2-(\hat X_3-aX_2)=X_3-\hat X_3.
\]
(3)记\(W_n=Y_n-\hat Y_n\)，则
\[\nu_0=\mathbb{E}(W_1^2)=\mathbb{E}(X_1^2)=\gamma_0. \\
\hat Y_2=\theta_{1,1}W_1=\theta_{1,1}Y_1,\\
\mathbb{E}(\hat Y_2Y_1)=\theta_{1,1}\mathbb{E}(W_1^2)=\theta_{1,1}\gamma_0,
\]
同时
\[\mathbb{E}(\hat Y_2Y_1)=\mathbb{E}[(Y_2-W_2)W_1]=\mathbb{E}(Y_2Y_1)=\gamma_1-a\gamma_0,
\]
所以
\[\theta_{1,1}=\frac{\gamma_1-a\gamma_0}{\gamma_0}=\frac{b}{\gamma_0}=\frac{5}{26},\\
\nu_1=\mathbb{D}(Y_2)-\theta^2_{1,1}\mathbb{D}(W_1^2)=\frac{29}{25}-\frac{5^2}{26^2}\frac{52}{25}=\frac{29}{25}-\frac{1}{13}=\frac{352}{325}.
\]
对\(n=2\)，有\(\hat Y_3=\theta_{2,1}W_2+\theta_{2,2}W_1\)，所以
\[\mathbb{E}(\hat Y_3W_1)=\theta_{2,2}\nu_0=\mathbb{E}[Y_3Y_1]=\gamma_2-a\gamma_1, \\
\theta_{2,2}=\frac{\gamma_2-a\gamma_1}{\gamma_0}=0
\\
\mathbb{E}(\hat Y_3W_2)=\theta_{2,1}\nu_1=\mathbb{E}[Y_3(Y_2-\hat Y_2)]=\mathbb{E}(Y_2Y_3)=\frac{2}{5},\\
\theta_{2,1}=\frac{\mathbb{E}(Y_2Y_3)}{\nu_1}=\frac{2/5}{352/325}=\frac{65}{176}.
\]
(4)显然\(\hat X_1=0\)，\(X_1-\hat X_1=Y_1-\hat Y_1=W_1\)。而
\[\hat Y_2=\theta_{1,1}W_1,\\
\hat X_2=X_2-(Y_2-\hat Y_2)=X_2-(X_2-aX_1-\hat Y_2)=aX_1+\theta_{1,1}W_1,\\
\hat Y_3=\theta_{2,1}W_2,\\
\hat X_3=X_3-(Y_3-\hat Y_3)=X_3-(X_3-aX_2-\hat Y_3)=aX_2+\theta_{2,1}W_2.
\]
