时间序列分析2.X AR与MA

ARMA与ARIMA模型

对平稳时间序列和非平稳时间序列，分别假定适当的 ARMA 模型和 ARIMA 模型

对非平稳时间序列建立 ARIMA 模型，实际上是通过先用适当的变换将非平稳序列转化为平稳序列，然后再建立 ARMA 模型

差分消除趋势性和季节性

将非平稳序列化为平稳序列的常见变换

• 趋势差分以消除趋势性
• 季节差分以消除季节性
• Box-Cox 变换以使得波动稳定化

趋势差分

$y_t=x_t-x_{t-1}=\mathrm{\nabla }{x}_t$

季节差分

$y_t=x_t-x_{t-s}={\mathrm{\nabla }}_s{x}_t$
s 常取12

当序列同时有趋势性与周期性时,先趋势差分,再季节差分 $z_t={\mathrm{\nabla }}_{12}{y}_t={\mathrm{\nabla }}_{12}\mathrm{\nabla }{x}_t$

对于波动随时间变化的序列变为平稳序列

• 先做适当的 Box-Cox 变换，使得其波动稳定化，然后再进行差分运算消除趋势性和季节性
• 先取对数,再趋势差分,最后季节差分
  $w_t={\mathrm{\nabla }}_{12}\mathrm{\nabla }\ln x_t$

平稳过程

弱平稳过程

定义

满足:

• $E\left(X_t^2\right)<\mathrm{\infty }$
• $E\left(X_t\right)$ 为常数
• $\mathrm{Cov}(X_t,X_{t-k})$ 与 $t$ 无关, $\mathrm{\forall }k$

即称为弱平稳过程

性质

• $k=0,Var(X_t)={\sigma }^2,\mathrm{\forall }t$ (波动不会随时间变化)
• $\mathrm{\forall }s<t,\mathrm{Cov}(X_t,X_s)=\mathrm{Cov}(X_t,X_{t-(t-s)})$ 只与 $t-s$ 有关
• $\mathrm{Corr}(X_t,X_s)$ 两点相关性只与间隔有关.(由此可以用昨天到今天的规律,根据今天的情况预测明天)

白噪声过程

满足:

• $E\left(X_t\right)=\mu ,\mathrm{\forall }t$
• $\mathrm{Var}\left(X_t\right)={\sigma }^2,\mathrm{\forall }t$
• $\mathrm{Cov}(X_t,X_s)=0,\mathrm{\forall }t\ne s$
• 不必相互独立

称为白噪声过程, $Z_t\sim WN(0,{\sigma }_Z^2)$

性质

• 满足 ${\rho }_k=0,\mathrm{\forall }k\ge 1$ ,即无序列相关性

随机漫步(RW)

随机漫步

定义

如果 $X_t=X_{t-1}+Z_t$

经过地推可以得到 $X_t=X_0+Z_1+Z_2+\cdots +Z_t$

性质

假设 $X_0=0$, 对于随机漫步而言,

$$E\left(X_t\right)=0;\mathrm{Var}\left(X_t\right)=t{\sigma }_Z^2$$

与 $t$ 有关, 故不是平稳过程

带漂移项的随机漫步

定义

如果 $X_t=\mu +X_{t-1}+Z_t$

经过推导可得

$$X_t=X_0+t\mu +\sum _{i=1}^t{Z}_i$$

性质

假设 $X_0=0$, 对于带漂移项的随机漫步而言,

$$E\left(X_t\right)=t\mu ;\mathrm{Var}\left(X_t\right)=t{\sigma }_Z^2$$

与 $t$ 有关, 故不是平稳过程

ACF 及序列相关性的度量

ACF

延迟 k 自协方差函数

${\gamma }_X(k)=\mathrm{Cov}(X_t,X_{t-k})$

延迟 k 自相关函数

$$\rho (k)=\frac{{\gamma }_X(k)}{{\gamma }_X(0)}$$

$\rho (k)$ 常记作 ${\rho }_k$

ACF性质

• $\rho (0)=1$
• $\rho (-k)=\rho (k)$
• $|\rho (k)|\le 1$

样本自相关函数

间隔 k 的相关系数

$${\hat{\rho }}_k=\frac{{\hat{\gamma }}_k}{{\hat{\gamma }}_0}=\frac{\sum _{t=1}^{T-k}(x_t-\overline{x})(x_{t+k}-\overline{x})}{\sum _{t=1}^T{(x_t-\overline{x})}^2}$$

自相关图

以延迟阶数 $k$ 为横坐标, ${\hat{\rho }}_k$ 为纵坐标绘图

AR自回归模型

$p$ 阶自回归过程 $AR(p)$

满足 $X_t={\varphi }_1{X}_{t-1}+{\varphi }_2{X}_{t-2}+\cdots +{\varphi }_p{X}_{t-p}+Z_t$ 的平稳的 $\{X_t\}$ 称为
(中心化的) $p$ 阶自回归过程, 记为 $AR(p)$

一般的 $AR(p)$ 可以表示为 $X_t-\mu ={\varphi }_1(X_{t-1}-\mu )+{\varphi }_2(X_{t-2}-\mu )+\cdots +{\varphi }_p(X_{t-p}-\mu )+Z_t$
其可以等价展开成 $X_t={\varphi }_0+{\varphi }_1{X}_{t-1}+{\varphi }_2{X}_{t-2}+\cdots +{\varphi }_p{X}_{t-p}+Z_t$ ,
其中 ${\varphi }_0=\mu (1-{\varphi }_1-\cdots -{\varphi }_p)$

$AR(1)$

模型样式

$X_t=\varphi X_{t-1}+Z_t$

性质

由于 $\{X_t\}$ 与 $\{X_t-\mu \}$ 有相同的方差与协方差, 故我们可以令 $\mu =0$
容易验证,当 $\varphi <1$ 时,

对模型重复进行迭代, 我们有

$$\begin{array}{rl}{X}_t& =\varphi (\varphi X_{t-2}+Z_{t-1})+Z_t={\varphi }^2{X}_{t-2}+\varphi Z_{t-1}+Z_t\\ & ={\varphi }^2(\varphi X_{t-3}+Z_{t-2})+\varphi Z_{t-1}+Z_t={\varphi }^3{X}_{t-3}+{\varphi }^2{Z}_{t-2}+\varphi Z_{t-1}+Z_t\\ & =\cdots \end{array}$$

一直进行下去,如果 $|\varphi |<1$ 容易验证其为平稳序列, 且其ACF函数为

$${\gamma }_X(k)=\sum _{i=0}^{\mathrm{\infty }}{\varphi }^i{\varphi }^{i+k}=\frac{{\varphi }^k}{1-{\varphi }^2}$$

Xt 可以表示为当前和过去时刻扰动的收敛线性组合，即 $MA(\mathrm{\infty })$ 形式，此时称 Xt 是因果过程。我们也可以得出结论: $AR(1)$ 是因果平稳的充要条件是 $|\varphi |<1$

期望与ACF

$AR(2)$

模型表示

$$\begin{array}{c}{X}_t={\varphi }_1{X}_{t-1}+{\varphi }_2{X}_{t-2}+Z_t\\ (1-{\varphi }_{1}B-{\varphi }_2{B}^2)X_t=Z_t\end{array}$$

因果平稳条件

$$\varphi (B)=1-{\varphi }_{1}B-{\varphi }_2{B}^2=(1-{\pi }_{1}B)(1-{\pi }_{2}B)$$

${\pi }_1$ , ${\pi }_2$ 为 $\varphi (B)=0$ 的两个根的倒数

令 $(1-{\pi }_{2}B)X_t=Y_t$ , 有 $(1-{\pi }_{1}B)Y_t=Z_t$
当 $|{\pi }_1|<1$ , $\{Y_t\}$ 为因果平稳过程
当 $|{\pi }_2|<1$ , $X_t$ 可表示为 $$X_t=\sum _{j=0}^{\mathrm{\infty }}{\pi }_2^j{Y}_{t-j}$$
也为因果平稳过程

所以, AR(2) 为因果平稳过程的条件是 $\varphi (B)=0$ 的两个根在单位圆外, 即 $|{\pi }_1|<1$ , $|{\pi }_2|<1$

ACF

$X_t={\varphi }_1{X}_{t-1}+{\varphi }_2{X}_{t-2}+Z_t$ (为方便研究, 无妨设 $\mu =0$)

两边同时乘以 $X_{t-k}$ 并取期望
有 ${\gamma }_k={\varphi }_1{\gamma }_{k-1}+{\varphi }_2{\gamma }_{k-2}$

再两边同除以 ${\gamma }_0$ , 可得到
${\rho }_k={\varphi }_1{\rho }_{k-1}+{\varphi }_2{\rho }_{k-2},\mathrm{\forall }k>0$

令 $k=1$, 利用 ${\rho }_{-1}={\rho }_1,{\rho }_0=1$, 有

$${\rho }_1={\varphi }_1{\rho }_0+{\varphi }_2{\rho }_1\Rightarrow {\rho }_1={\varphi }_1+{\varphi }_2{\rho }_1\Rightarrow {\rho }_1=\frac{{\varphi }_1}{1-{\varphi }_2}$$

由 ${\rho }_k={\varphi }_1{\rho }_{k-1}+{\varphi }_2{\rho }_{k-2},\mathrm{\forall }k>0$ , 与 ${\rho }_1=\frac{{\varphi }_1}{1-{\varphi }_2},{\rho }_0=1$ ,可以计算任意阶延迟的ACF

平均周期长度

$1-{\varphi }_{1}B-{\varphi }_2{B}^2=0$ 特征方程为 $y^2-{\varphi }_{1}y-{\varphi }_2=0$
若特征方程的根为共轭复特征根
记为 $a\pm bi$

则平均周期长度

$$k=\frac{2\pi }{{\cos }^{-1}[a/\sqrt{a^2+b^2}]}$$

$AR(p)$

AR建模

步骤

• 确保对象为平稳序列
• 定阶
• 估计参数
• 残差诊断
• 优化
• 预测

定阶

PACF定阶

定义

$PACF=Corr(X_t,X_{t-k}|X_{t-1},X_{t-2},\cdots ,X_{t-k+1})$
通过PACF图在 $p$ 处截尾, 选取 $p$

信息准则定阶

• 赤池信息准则 (AIC)
• 贝叶斯信息准则 (BIC)

MA移动平均模型

$MA(q)$定义

满足 $X_t=\mu +Z_t+{\theta }_1{Z}_{t-1}+{\theta }_2{Z}_{t-2}+\cdots +{\theta }_q{Z}_{t-q}$ 的平稳过程

性质

平稳性

不需要系数满足额外的限制条件，$MA$ 模型总是因果平稳的

$E\left(X_t\right)=\mu ;\mathrm{Var}\left(X_t\right)={\sigma }_Z^2(1+{\theta }_1^2+\cdots +{\theta }_q^2)$

以及 $\mathrm{Cov}(X_t,X_{t-k})$ 均与 $t$ 无关;

ACF

$$\mathrm{Cov}(X_t,X_{t-k})=\left\{\begin{array}{lr}(1+{\theta }_1^2+\cdots +{\theta }_q^2){\sigma }_Z^2& k=0\\ (\sum _{i=0}^{q-k}{\theta }_i{\theta }_{i+k}){\sigma }_Z^2& 1\le k\le q\\ 0& k>q\end{array}\right\}$$

这里记 ${\theta }_0=1$ 。

于是, $MA(q)$ 过程的 $ACF$ 为

$${\rho }_k=\frac{{\gamma }_k}{{\gamma }_0}=\{\begin{array}{lc}1& k=0\\ \frac{\sum _{i=0}^{q-k}{\theta }_i{\theta }_{i+k}}{1+{\theta }_1^2+\cdots +{\theta }_q^2}& 1\le k\le q\\ 0& k>q\end{array}$$

可逆性

定义

如果 $t$ 时刻的随机扰动可以表示为当前值和历史值的一个收敛和的形式，即
$Z_t=\sum _{j=0}^{\mathrm{\infty }}{\pi }_j{X}_{t-j}$

其中, ${\pi }_0=1,\sum \left|{\pi }_j\right|<\mathrm{\infty }$ .

形式

$$\begin{array}{c}{X}_t=\theta (B)Z_t\stackrel{\mathrm{可}\mathrm{逆}}{==}{Z}_t=X_t+\pi X_{t+1}=\pi (B)X_t\\ \theta (B)\pi (B)=1\end{array}$$

MA建模

定阶

通过ACF图在 $q$ 处截尾, 选取 $q$