本文主要介绍随机干扰项存在序列相关问题时对回归分析的影响，涉及了部分时间序列的内容，重点为序列相关性的检验和修正方法。
Chapter 6：序列相关性
一、序列相关性的含义
对于截面数据类型，如果样本是独立随机抽取的（多元回归模型基本假设 MLR.2），则从理论上保证了模型的随机干扰项相互独立，不存在序列相关。如果模型的随机干扰项违背了相互独立的基本假设，则称为存在序列相关问题。
由于时间序列数据不可重复观测，因此以时间序列数据为样本，一般会破坏随机抽样的假定。根据实证分析的一般经验，时间序列数据也会同时伴随着异方差问题，即违背了基本假定 MLR.5 。
\[{\rm Var}(\boldsymbol{u})={\rm E}(\boldsymbol{uu'})=\left[
\begin{array}{cccc}
\sigma^2 & \sigma_{12} & ... & \sigma_{1T} \\
\sigma_{21} & \sigma^2 & ... & \sigma_{2T} \\
\vdots & \vdots & \ddots & \vdots\\
\sigma_{T1} & \sigma_{T2} & ...& \sigma^2 \\
\end{array}
\right] = \sigma^2 \left[
\begin{array}{cccc}
1 & \rho_{12} & ... & \rho_{1T} \\
\rho_{21} & 1 & ... & \rho_{2T} \\
\vdots & \vdots & \ddots & \vdots\\
\rho_{T1} & \rho_{T2} & ...& 1 \\
\end{array}
\right] = \sigma^2\boldsymbol\Omega.
\]
二、序列相关性的产生原因
(1) 经济变量固有的惯性；
(2) 数据“编造”造成的相关；
(3) 模型设定偏误；
(4) 蛛网现象（农产品的供给）；
(5) 变量之间的影响本身具有滞后效应。
三、序列相关性的后果
序列相关性和异方差均是模型出现了非球形扰动的现象，它们对 OLS 的影响也具有相似性。因为在序列相关性下的模型仍然满足零条件均值，如果再满足解释变量是严格外生条件时，OLS 估计值是无偏和一致的。这里的严格外生条件指的是：\(t\) 时期的误差项 \(u_t\) 与每个时期的任何解释变量都无关。这个条件比 MLR.4 的零条件均值要求更强。
和异方差类似，序列相关性下的 OLS 估计量不再是 BLUE，主要影响包括以下几点：
- 参数估计量非有效；
- \(t\) 值被高估，相应的 \(F\) 检验与可决系数检验也变得不可靠；
- 模型的预测失效。
四、序列相关性的检验方法
Part 1：图示法
由于随机干扰项不可直接观测，可以用 OLS 残差 \(e_t\) 代替 \(u_t\) 。一般情况下我们可以绘制 \(e_t\) - \(e_{t-1}\) 散点图或绘制 \(e_t\) - \(t\) 散点图来判断序列相关性的趋势。
Part 2：回归检验法
以 \(e_t\) 为被解释变量，以各种可能的 \(e_t\) 的相关量，如 \(e_{t-1}\) ，\(e_{t-2}\) 等为解释变量建立回归方程：
\[e_t = \rho e_{t-1} + \varepsilon_t ,
\]
\[e_t = \rho_1 e_{t-1} + \rho_2e_{t-2} + \varepsilon_t ,
\]
如果存在某一种函数形式，使得方程显著成立，则说明原模型存在序列相关性。回归检验法的优点是一旦确定了模型存在序列相关性，即可得到其相关的形式，适用于任何类型的序列相关问题的检验。
Part 3：DW 检验法
DW 检验是 Durbin 和 Watson 提出的一种适用于小样本的检验方法。DW 检验只能用于检验随机误差项具有一阶自回归形式的自相关问题。这种检验方法是建立经济计量模型中最常用的方法，一般的计算机软件都可以计算出 DW 统计量的值。
首先需要注意 DW 检验的前提假定条件：
- 解释变量非随机；
- 随机误差项为 \({\rm AR}(1)\) 形式：\(u_t=\rho u_{t-1}+\varepsilon_t\) ；
- 模型含有截距项且不含有滞后被解释变量，如 \(Y_{t-1}\) 。
满足以上条件，我们可以对随机干扰项进行 DW 检验，首先提出原假设 \(H_0:\rho=0\) ，即 \(u_t\) 不存在一阶自回归。为了检验上述假设，构造 DW 统计量首先要求出回归估计式的残差 \(e_t\) ，然后我们定义 DW 统计量：
\[{\rm DW}=\frac{\sum\limits_{t=2}^T(e_t-e_{t-1})^2}{\sum\limits_{t=1}^Te_t^2}\approx 2(1-\hat\rho).
\]
由上述讨论可知 DW 统计量的取值范围为：\(0\leq{\rm DW}\leq4\) 。根据样本容量 \(T\) 和不含常数项的解释变量的个数 \(k\) 查 DW 分布表，得临界值 \(d_L\) 和 \(d_U\) ，然后依下列准则考察计算得到的 DW 值，以决定模型的自相关状态。
| \({\rm DW}\) 取值范围 |
检验决策规则 |
| \(0<{\rm DW}<d_L\) |
正自相关 |
| \(d_L<{\rm DW}<d_U\) |
不能确定 |
| \(d_U<{\rm DW}<4-d_U\) |
无自相关 |
| \(4-d_U<{\rm DW}<4-d_L\) |
不能确定 |
| \(4-d_L<{\rm DW}<4\) |
负自相关 |
从判断准则中看到，存在两个不能确定的 DW 统计量值区域，这是 DW 检验的一大缺陷。此外DW检验只能检验一阶自相关，对存在高阶自相关和存在滞后被解释变量的模型无法检验。
Part 3：拉格朗日乘数检验（LM 检验，BG 检验）
拉格朗日乘数检验克服了 DW 检验的缺陷，适合于高阶序列相关及模型中存在滞后被解释变量的情形，由 Breusch 与 Godfrey 提出。
对于模型
\[Y_t=\beta_0+\beta_1X_{t1}+\beta_2X_{t2}+\cdots+\beta_kX_{tk}+u_t ,
\]
如果怀疑随机扰动项是否存在 \({\rm AR}(p)\) 的情况：
\[u_t = \rho_1u_{t-1}+\rho_2u_{t-2}+...+\rho_pu_{t-p}+\varepsilon_t ,
\]
可以利用拉格朗日乘数检验如下的受约束回归方程：
\[Y_t = \beta_0+\beta_1X_{t1}+...+\beta_kX_{tk}+\rho_1u_{t-1}+\rho_2u_{t-2}++...+\rho_pu_{t-p}+\varepsilon_t ,
\]
约束条件为：
\[H_0:\rho_1=\rho_2=...=\rho_p=0 .
\]
根据 OLS 估计得到残差 \(e_t\) ，构造辅助回归得到可决系数 \(R^2\) ：
\[e_t=\beta_0+\beta_1X_{t1}+...+\beta_1X_{tk}+\rho_1e_{t-1}+\rho_2e_{t-2}++...+\rho_pe_{t-p}+\varepsilon_t ,
\]
构造 \(LM\) 统计量，如果 \(H_0\) 为真，则 \(LM\) 统计量在大样本下渐进服从自由度为 \(p\) 的 \(\chi^2\) 分布：
\[LM=(T-p)R^2\sim\chi^2(p) .
\]
Part 4：Ljung-Box 检验（Q 检验）
Ljung-Box 检验是一种可以检验高阶自相关的方法。检验是否存在 \({\rm AR}(m)\)，提出原假设：
\[H_0:\rho_1=\rho_2=...=\rho_m=0 ,
\]
根据 OLS 估计得到残差 \(e_t\) ，构造 \(Q_{LB}\) 统计量：
\[Q(m)=T(T+2)\sum_{j=1}^m\frac{\hat{\rho_j}^2}{T-j}\sim\chi^2(m) ,
\]
其中 \(\hat{\rho}_j\) 为 \(j\) 阶滞后的样本自相关系数：
\[\hat{\rho}_j=\frac{\hat\gamma(j)}{\hat\gamma(0)}=\frac{\sum\limits_{i=1}^{T-j}e_ie_{i+j}}{\sum\limits_{i=1}^Te_i^2} ,
\]
\[\hat\gamma(j) = \sum_{i=1}^{T-j}e_ie_{i+j} .
\]
其中滞后阶数 \(m\) 的选择会影响检验的效果，一般地取 \(m=\ln(T)\) 较好。
五、序列相关性的修正措施
Part 1：广义最小二乘法 GLS
要求 \(\boldsymbol\Omega\) 已知，假设模型存在非球形扰动，即存在自相关的同时存在异方差：
\[{\rm Var}(\boldsymbol{u})={\rm E}\left(\boldsymbol{u}\boldsymbol{u}^{\rm T}\right)=\left[
\begin{array}{cccc}
\sigma_1^2 & \sigma_{12} & ... & \sigma_{1T} \\
\sigma_{21} & \sigma_2^2 & ... & \sigma_{2T} \\
\vdots & \vdots & \ddots & \vdots\\
\sigma_{T1} & \sigma_{T2} & ...& \sigma_T^2 \\
\end{array}
\right] = \sigma^2\boldsymbol\Omega .
\]
类似于修正异方差的 WLS，\(\boldsymbol\Omega\) 是一对称正定矩阵，有
\[\tilde{\boldsymbol\beta} =(\boldsymbol{x'}\boldsymbol{\Omega}^{-1} \boldsymbol{x})^{-1}\boldsymbol{x'}\boldsymbol{\Omega}^{-1} \boldsymbol{y},
\]
即为原模型的 GLS 估计量， 是无偏且有效的估计量。
假设我们已知随机误差项满足 \({\rm AR}(1)\) 模型 ，这是一个 \(\boldsymbol\Omega\) 已知的情况，但如何获取 \(\boldsymbol\Omega\) 呢？
\[u_t=\rho u_{t-1}+\varepsilon_t ,
\]
可以证明：
\[{\rm Var}(\boldsymbol{u})=\frac{\sigma_{\varepsilon}^2}{1-\rho^2} \left[
\begin{array}{cccc}
1 & \rho & ... & \rho^{T-1} \\
\rho & 1 & ... & \rho^{T-2} \\
\vdots & \vdots & \ddots & \vdots\\
\rho^{T-1} & \rho^{T-2} & ...& 1 \\
\end{array}
\right] = \sigma^2\boldsymbol\Omega .
\]
这里的 \(\sigma^2={\rm Var}(u_t)=\dfrac{\sigma_\varepsilon^2}{1-\rho^2}\) ，从而有
\[\boldsymbol\Omega^{-1}=\frac{1}{1-\rho^2} \left[
\begin{array}{ccccccc}
1 & -\rho & 0 &... & 0 & 0 & 0 \\
-\rho & 1+\rho^2 & -\rho &... & 0 & 0 & 0 \\
0 & -\rho & 1+\rho^2 &... & 0 & 0 & 0 \\
\vdots & \vdots & \vdots & \ddots & \vdots & \vdots & \vdots\\
0 & 0 & 0 &... & 1+\rho^2 & -\rho & 0 \\
0 & 0 & 0 &... & -\rho & 1+\rho^2 & -\rho \\
0 & 0 & 0 &... & 0 & -\rho & 1 \\
\end{array}
\right] .
\]
由此我们可以看到，如果已知随机误差项满足 \({\rm AR}(1)\) 模型 ，此时的 GLS 估计是可以直接计算的。
Part 2：广义差分法 GD
广义差分法也适用于多元回归模型和高阶序列相关问题，但要求 \(\rho\) 已知。我们以 \({\rm AR}(1)\) 的一元线性回归模型为例：
\[y_t=\beta_0+\beta_1x_t+u_t ,
\]
\[u_t=\rho u_{t-1}+\varepsilon_t ,
\]
写出滞后一期的模型：
\[y_{t-1}=\beta_0+\beta_1x_{t-1}+u_{t-1} ,
\]
做广义差分操作：
\[y_t-\rho y_{t-1}=\beta_0(1-\rho)+\beta_1(x_t-\rho x_{t-1})+\varepsilon_t ,
\]
\[y^*_t=\beta_0(1-\rho)+\beta_1x^*_t+\varepsilon_t,
\]
其中 \(\varepsilon_t\) 满足 MLR.1 - MLR.5，可以进行 OLS 估计得到 BLUE 的估计量。
但第一个观测值由于差分而丢失，需要通过普莱斯-温斯特（Praise and Winsten）变换补齐
\[y_1^*=\sqrt{1-\rho^2}y_1,\quad x_1^*=\sqrt{1-\rho^2}x_1 .
\]
若存在高阶序列相关：
\[u_t = \rho_1u_{t-1}+\rho_2u_{t-2}++...+\rho_pu_{t-p}+\varepsilon_t ,
\]
则广义差分模型为
\[\begin{aligned}
y_t-\rho_1y_{t-1}...-\rho_py_{t-p}&=\beta_0(1-\rho_1-...-\rho_p)+\beta_1(x_{t1}-\rho_1x_{t-1,1}-...-\rho_px_{t-p,1})+...\\ & \ \ \ \ +\beta_k(x_{tk}-\rho_1x_{t-1,k}-...-\rho_px_{t-p,k})+\varepsilon_t .
\end{aligned}
\]
差分后的模型不存在序列相关问题，可以进行 OLS 估计。
Part 3：可行的广义最小二乘法 FGLS
适用于 \(\boldsymbol\Omega\) 未知时的情况。如果我们认为随机误差项存在一阶自相关问题，我们只需要计算出 \(\hat\rho\) 就可以求出 \(\boldsymbol\Omega\) 。主要有两种方式对 \(\rho\) 进行估计：
\[\hat\rho=1-\frac{\rm DW}{2} .
\]
\[e_t = \hat\rho e_{t-1}+\varepsilon_t .
\]
但我们需要注意，以上两种方法仅适用于 \({\rm AR}(1)\) ，是粗略的精度不高的估计。
Part 4：杜宾两步法
如果我们认为随机误差项存在高阶自相关问题，我们可以先利用广义差分，将被解释变量的滞后项作为解释变量进行 OLS 回归，估计出自相关系数，然后再反解出 OLS 估计量。这种方法被称为杜宾两步法。
我们还是以 \({\rm AR}(1)\) 为例，高阶自相关同理，首先写出广义差分模型：
\[y_t-\rho y_{t-1}=\beta_0(1-\rho)+\beta_1(x_t-\rho x_{t-1})+\varepsilon_t ,
\]
将差分模型作移项变换：
\[y_t=\beta_0(1-\rho)+\rho y_{t-1}+\beta_1(x_t-\rho x_{t-1})+\varepsilon_t ,
\]
利用 OLS 估计得到 \(\hat\rho\) 即为 \(y_{t-1}\) 的系数，代入原差分方程系数对应，即可解出相应的 OLS 估计。
\[y^*_t=\beta_0^*+\beta_1^*x^*_t+\varepsilon_t ,
\]
\[\hat{\beta}_0=\frac{\hat{\beta}_0^*}{1-\hat\rho} , \quad \hat{\beta}_1=\hat{\beta}_1^* .
\]
Part 5：科克伦-奥科特迭代法
一般的统计软件会带有 Cochrane & Orcutt 迭代法的工具包。同样以 \({\rm AR}(1)\) 为例，
step.1 使用 OLS 估计获得残差 \(e_t^{(1)}\) ：
\[y_t=\beta_0+\beta_1x_t+u_t .
\]
step.2 利用 \(e_t^{(1)}\) 做如下回归并获得 \(\hat\rho^{(1)}\) ：
\[e_t^{(1)}=\rho e_{t-1}^{(1)}+\varepsilon_t .
\]
step.3 利用 \(\hat\rho^{(1)}\) 对模型进行差分：
\[y_t-\hat\rho^{(1)} y_{t-1}=\beta_0(1-\hat\rho^{(1)})+\beta_1(x_t-\hat\rho^{(1)} x_{t-1})+\varepsilon_t ,
\]
对差分模型进行 OLS 估计得到 \(\hat{\beta}_0^*\) 和 \(\hat{\beta}_1^*\) 。
step.4 由前一步估计的结果有：
\[\hat{\beta}_0=\frac{\hat{\beta}_0^*}{1-\hat\rho},\quad \hat{\beta}_1=\hat{\beta}_1^* ,
\]
代入原回归方程得到新的残差 \(e_t^{(2)}\) ：
\[e_t^{(2)}=y_t-\hat{\beta_0}-\hat{\beta_1}x_t .
\]
step 5. 利用 \(e_t^{(2)}\) 做如下回归并获得 \(\hat\rho^{(2)}\)，即为 \(\rho\) 的第二轮估计值：
\[e_t^{(2)}=\rho e_{t-1}^{(2)}+\varepsilon_t .
\]
依次迭代，当估计的 \(\hat\rho^{(k)}\) 与 \(\hat\rho^{(k+1)}\) 相差很小时，就找到了 \(\rho\) 的最佳估计值。
可以设定一个停止条件，比如看 DW 值。也可以事先设置一个精度，当相邻两次迭代的估计值之差小于这一精度时迭代终止。
