08_自相关

第8章 自相关

8.1 自相关的后果

除了异方差,违反球形扰动项的另一情形是扰动项存在自相关。

定义 自相关(autocorrelation) / 序列相关(serial correlation)

对于{ϵ1,,ϵn},如果存在ij,使得E(ϵiϵj|X)0,即协方差矩阵Var(ϵ|X)的非主对角线不全为0,则存在自相关序列相关

存在自相关的情况下:

  1. OLS估计量依然是无偏的、一致的、渐近正态的。
  2. OLS估计量方差Var(β^|X)的表达式不再是σ2(XX)1,即Var(ϵ|X)σ2I
    • 普通标准误的t检验、F检验失效
  3. 高斯马尔可夫定理不再成立,OLS不再是BLUE。

8.2 自相关的例子

例子:

  1. 时间序列自相关。
    • 经济活动通常具有某种连续性或持久性,在时间序列中比较常见。
  2. 横截面数据中的自相关。
    • 相邻单位存在溢出效应,空间自相关。
  3. 对数据的人为处理。
    • MA、内插值、季节调整
  4. 设定误差。
    • 遗漏了某个自相关的解释变量。

8.3 自相关的检验

1.画图

  • 将残差et与残差滞后项 et1 画成散点图
  • 计算残差的各阶样本相关系数 ρ^k,是滞后阶数 k 的函数,将 (k,ρ^k) 画图。

2.BG检验

(Breusch,1978;Godfrey,1979)

  • 考虑多元线性模型: yi=β1+β2xi2++βKxiK+ϵt
  • 假设扰动项 ϵt 存在一阶(高阶)自相关:ϵt=γ1ϵt1++γpϵtp+μt(t=p+1,,n)
  • 由于 ϵt 不可观测,用 et 替代
    • 如果遗漏 xt,可能导致扰动项与 et 相关,使得估计不一致。
    • 所以辅助回归为: et=γ1et1++γpetp+δ2xt2++δkxtk+vt
  • 原假设(无自相关性)为:H0:γ1==γp=0
  • 拉格朗日统计量:LM=(np)R2dχ2(p)

(Davidson-MacKinnon,1993):直接把残差中因滞后而缺失的项用期望值0代替。

3.Q检验

另一种思路是检验各阶自相关系数均为0。

  • 原假设:H0:ρ1==ρp=0
  • 大样本下,如果原假设成立,ρ^j 依概率收敛于0,nρ^j 服从渐近正态分布。
    • BP-Q统计量:平方和(对 j 求和)渐近卡方分布$$Q_{BP} \equiv n\sum_{j=1}p\hat\rho_j2 \xrightarrow{d} \chi^2(p)$$

(Box&Pierce,1970)

  • 小样本下,经过改进的Ljung-Box Q统计量性质更好,大样本等价与BPQ。
    • LB-Q统计量:调整了自由度$$Q_{LB}\equiv n(n+2)\sum_{j=1}p\frac{\hat\rho_j2}{n-j} \xrightarrow{d} \chi^2(p)$$

Ljung&Box,1979

4.DW检验

DW检验是较早出现的检验,现已不常用。

  • 只能检验一阶自相关
  • 统计量依赖于数据矩阵X

那就不看了。

8.4 自相关的处理

经过检验发现存在自相关时,有如下四种处理方法。

1.使用“OLS+异方差自相关稳健的标准误” ——NW法

因在存在自相关的情况下,OLS估计量依然无偏且一致,故仍可使用OLS进行回归估计。为了正确进行统计推断,须使用异方差自相关稳健的标准误,这种方法称为Newey-West估计法

  • HAC:Heteroskedasticity and Autocorrelation Consistent Standard Error
  • 只改变标准误的估计值,不改变回归系数的估计值
  • 一般取p=n1/4p=0.75n1/3 ,比p更高阶的自相关系数将被截断不考虑,p就是截断参数。

Newwy和West,1987

2.准差分法

准差分法(quasi difference) / Cochrane-Orcutt估计法

思路:变换原模型使转换后的扰动项变成球形扰动项。

  • 假设原模型:yt=β1+β2xt2++βKxtK+ϵt(t=1,,n)
    • 其中 ϵt 存在自相关,且一阶自相关:ϵt=ρϵt1+μt
      • 自回归系数|ρ|<1
      • μt为白噪声
  • 将原模型滞后一期,两边同乘 ρρyt1=ρ(β1+β2xt1,2++βKxt1,K+ϵt1)
  • 方程组(n-1个) 的扰动项为球形扰动项,可消除异方差,且消除了自相关。ytρyt1=(1ρ)β1+β2(xt2ρxt1,2)++βK(xtKρxt1,K)+(ϵtρϵt1μt)(8.14)

但问题是:损失了一个样本容量,不是最有效率的BLUE。

Cochrane和Orcutt,1949

Prais-Winsten估计法 / PW

思路:不损失样本的话,就需要补一个y1的方程,且同方差、无自相关

  • 因:(1ρ2)σϵ2=σμ2
  • 故:1ρ2y1是同方差的,为球形扰动项。将如下方程加入(8.14)就可得到BLUE。$$\sqrt{1-\rho2}y_1=\sqrt{1-\rho2}\beta_1+\sqrt{1-\rho2}x_{12}+\cdots+\sqrt{1-\rho2}x_{1K}+\sqrt{1-\rho^2}\epsilon_1$$

Paris和Winsten,1954,简称PW

无论CO估计法还是PW估计法均不可行(infeasible),在实践中必须用数据估计一阶自回归系数β^

  • OLS残差进行辅助回归:et=ρ^et1+errort
  • 残差的一阶自相关系数:$$\hat\rho=\frac{\sum_{t=2}ne_te_{t-1}}{\sum_{t-1}n e_t^2}$$
  • DW统计量进行估计:ρ^=1DW2

常使用迭代法进行估计,具体步骤:

  • 首先,用OLS估计原模型,用残差 {e} 作辅助回归,得到 ρ^(1),再用 ρ^(1)进行CO或PW估计
  • 然后,用CO或PW得到的新残差估计 ρ^(2),再用 ρ^(2) 进行CO或PW估计
  • 依次类推,直至收敛(即相邻两轮的ρ与系数估计值之差足够小)。

3.广义最小二乘法

如果同时存在异方差和自相关,应该使用广义最小二乘法(Generalized Least Square,GLS)
思路:通过变量转换,使得转换后的模型满足球形扰动项。

  • 协方差矩阵 Var(ϵ|X)=σ2V(X) ,首先找到非退化矩阵 C,使得 V1=CC
  • 将原模型 y=Xβ+ϵ 两边同时左乘C,得到Cy=CXβ+Cϵ
  • 记上面的方程为:y~=X~β+ϵ~
  • 可证明:Var(ϵ~|X~)=σ2In
  • 使用OLS即可得到GLS估计量,与C无关,虽然C不唯一,但是β^GLS 唯一:

β^GLS=(X~X~)1X~y=(XV1X)1XV1y

  • 此估计量是BLUE,且比OLS有效率。

定义 可行广义最小二乘法

  • 前提条件是要知道协方差矩阵V,而V通常未知,GLS是不可行的。
  • 在实践中,必须通过数据估计V^,再进行GLS,称为(FGLS)。

命题 对于对称正定矩阵Vn×n,存在非退化矩阵Cn×n,使得V1=CC

4.修改模型设定

有些情况,自相关深层原因可能就是模型设定错了。因此,最好从改进模型设定着手,而不是机械的使用FGLS。

8.5 处理自相关的python命令及实例

1.时间序列算子

![[pandas_docs#16. 时间序列相关的实例方法:]]

2.画残差图

sm.graphics.tsa.plot_acf(y, ax=plt.gca(),zero=False,lags=15)
plt.show()

![[8-5-1残差自相关图.png]]

3.BG检验

from statsmodels.stats.diagnostic import acorr_breusch_godfrey

bg_result = acorr_breusch_godfrey(results, nlags=1)

4.Q检验

from statsmodels.stats.diagnostic import acorr_ljungbox

bp_result = acorr_ljungbox(results.resid,
                           lags=[i for i in range(1, 14)],
                           boxpierce=True,
                           return_df=True,
                           # auto_lag=True
                           )

5.DW检验

# from statsmodel.stats impotr durbin_watson

sm.stats.durbin_watson(results.resid)

6.HAC稳健标准误

![[statsmodel_docs#处理方法:HAC稳健标准误]]

7.处理一阶自相关的FGLS

此部分内容很复杂,代码后续补充

posted @   王大桃zzZ  阅读(310)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· 开源Multi-agent AI智能体框架aevatar.ai,欢迎大家贡献代码
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· AI技术革命,工作效率10个最佳AI工具
点击右上角即可分享
微信分享提示