08_自相关
第8章 自相关
8.1 自相关的后果
除了异方差,违反球形扰动项的另一情形是扰动项存在自相关。
定义 自相关(autocorrelation) / 序列相关(serial correlation)
对于
存在自相关的情况下:
- OLS估计量依然是无偏的、一致的、渐近正态的。
- OLS估计量方差
的表达式不再是 ,即- 普通标准误的t检验、F检验失效。
- 高斯马尔可夫定理不再成立,OLS不再是BLUE。
8.2 自相关的例子
例子:
- 时间序列自相关。
- 经济活动通常具有某种连续性或持久性,在时间序列中比较常见。
- 横截面数据中的自相关。
- 相邻单位存在溢出效应,空间自相关。
- 对数据的人为处理。
- MA、内插值、季节调整
- 设定误差。
- 遗漏了某个自相关的解释变量。
8.3 自相关的检验
1.画图
- 将残差
与残差滞后项 画成散点图 - 计算残差的各阶样本相关系数
,是滞后阶数 的函数,将 画图。
2.BG检验
(Breusch,1978;Godfrey,1979)
- 考虑多元线性模型:
- 假设扰动项
存在一阶(高阶)自相关: - 由于
不可观测,用 替代- 如果遗漏
,可能导致扰动项与 相关,使得估计不一致。 - 所以辅助回归为:
- 如果遗漏
- 原假设(无自相关性)为:
- 拉格朗日统计量:
(Davidson-MacKinnon,1993):直接把残差中因滞后而缺失的项用期望值0代替。
3.Q检验
另一种思路是检验各阶自相关系数均为0。
- 原假设:
- 大样本下,如果原假设成立,
依概率收敛于0, 服从渐近正态分布。- BP-Q统计量:平方和(对
求和)渐近卡方分布$$Q_{BP} \equiv n\sum_{j=1}p\hat\rho_j2 \xrightarrow{d} \chi^2(p)$$
- BP-Q统计量:平方和(对
(Box&Pierce,1970)
- 小样本下,经过改进的Ljung-Box Q统计量性质更好,大样本等价与BPQ。
- LB-Q统计量:调整了自由度$$Q_{LB}\equiv n(n+2)\sum_{j=1}p\frac{\hat\rho_j2}{n-j} \xrightarrow{d} \chi^2(p)$$
Ljung&Box,1979
4.DW检验
DW检验是较早出现的检验,现已不常用。
- 只能检验一阶自相关
- 统计量依赖于数据矩阵X
那就不看了。
8.4 自相关的处理
经过检验发现存在自相关时,有如下四种处理方法。
1.使用“OLS+异方差自相关稳健的标准误” ——NW法
因在存在自相关的情况下,OLS估计量依然无偏且一致,故仍可使用OLS进行回归估计。为了正确进行统计推断,须使用异方差自相关稳健的标准误,这种方法称为Newey-West估计法
- HAC:Heteroskedasticity and Autocorrelation Consistent Standard Error
- 只改变标准误的估计值,不改变回归系数的估计值
- 一般取
或 ,比p更高阶的自相关系数将被截断不考虑,p就是截断参数。
Newwy和West,1987
2.准差分法
准差分法(quasi difference) / Cochrane-Orcutt估计法
思路:变换原模型使转换后的扰动项变成球形扰动项。
- 假设原模型:
- 其中
存在自相关,且一阶自相关:- 自回归系数
为白噪声
- 自回归系数
- 其中
- 将原模型滞后一期,两边同乘
: - 方程组(n-1个) 的扰动项为球形扰动项,可消除异方差,且消除了自相关。
但问题是:损失了一个样本容量,不是最有效率的BLUE。
Cochrane和Orcutt,1949
Prais-Winsten估计法 / PW
思路:不损失样本的话,就需要补一个
- 因:
- 故:
是同方差的,为球形扰动项。将如下方程加入(8.14)就可得到BLUE。$$\sqrt{1-\rho2}y_1=\sqrt{1-\rho2}\beta_1+\sqrt{1-\rho2}x_{12}+\cdots+\sqrt{1-\rho2}x_{1K}+\sqrt{1-\rho^2}\epsilon_1$$
Paris和Winsten,1954,简称PW
无论CO估计法还是PW估计法均不可行(infeasible),在实践中必须用数据估计一阶自回归系数
- OLS残差进行辅助回归:
- 残差的一阶自相关系数:$$\hat\rho=\frac{\sum_{t=2}ne_te_{t-1}}{\sum_{t-1}n e_t^2}$$
- DW统计量进行估计:
常使用迭代法进行估计,具体步骤:
- 首先,用OLS估计原模型,用残差 {e} 作辅助回归,得到
,再用 进行CO或PW估计 - 然后,用CO或PW得到的新残差估计
,再用 进行CO或PW估计 - 依次类推,直至收敛(即相邻两轮的
与系数估计值之差足够小)。
3.广义最小二乘法
如果同时存在异方差和自相关,应该使用广义最小二乘法(Generalized Least Square,GLS)
思路:通过变量转换,使得转换后的模型满足球形扰动项。
- 协方差矩阵
,首先找到非退化矩阵 C,使得 - 将原模型
两边同时左乘C,得到 - 记上面的方程为:
- 可证明:
- 使用OLS即可得到GLS估计量,与C无关,虽然C不唯一,但是
唯一:
- 此估计量是BLUE,且比OLS有效率。
定义 可行广义最小二乘法
- 前提条件是要知道协方差矩阵V,而V通常未知,GLS是不可行的。
- 在实践中,必须通过数据估计
,再进行GLS,称为(FGLS)。
命题 对于对称正定矩阵 ,存在非退化矩阵 ,使得
4.修改模型设定
有些情况,自相关深层原因可能就是模型设定错了。因此,最好从改进模型设定着手,而不是机械的使用FGLS。
8.5 处理自相关的python命令及实例
1.时间序列算子
![[pandas_docs#16. 时间序列相关的实例方法:]]
2.画残差图
sm.graphics.tsa.plot_acf(y, ax=plt.gca(),zero=False,lags=15)
plt.show()
![[8-5-1残差自相关图.png]]
3.BG检验
from statsmodels.stats.diagnostic import acorr_breusch_godfrey
bg_result = acorr_breusch_godfrey(results, nlags=1)
4.Q检验
from statsmodels.stats.diagnostic import acorr_ljungbox
bp_result = acorr_ljungbox(results.resid,
lags=[i for i in range(1, 14)],
boxpierce=True,
return_df=True,
# auto_lag=True
)
5.DW检验
# from statsmodel.stats impotr durbin_watson
sm.stats.durbin_watson(results.resid)
6.HAC稳健标准误
![[statsmodel_docs#处理方法:HAC稳健标准误]]
7.处理一阶自相关的FGLS
此部分内容很复杂,代码后续补充
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· 开源Multi-agent AI智能体框架aevatar.ai,欢迎大家贡献代码
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· AI技术革命,工作效率10个最佳AI工具