AR MA ARMA 总结 2

一、AP模型

AR(p)模型的均值、方差、自相关函数（ACF）和偏自相关函数（PACF）推导如下：

1. 均值（Mean）

AR(p)模型形式为：

X_{t} = c + ϕ_{1} X_{t - 1} + ϕ_{2} X_{t - 2} + \dots + ϕ_{p} X_{t - p} + ε_{t}

$X_t = c + \phi_1 X_{t-1} + \phi_2 X_{t-2} + \dots + \phi_p X_{t-p} + \varepsilon_t$

其中是白噪声，满足， $\text{Var}(\varepsilon_t) = \sigma^2$ 。
推导：
假设平稳性，均值为常数 $E[X_t] = \mu$ ，则：

μ = c + ϕ_{1} μ + ϕ_{2} μ + \dots + ϕ_{p} μ

$\mu = c + \phi_1 \mu + \phi_2 \mu + \dots + \phi_p \mu$

解得：

μ = \frac{c}{1 - ϕ_{1} - ϕ_{2} - \dots - ϕ_{p}}

$\mu = \frac{c}{1 - \phi_1 - \phi_2 - \dots - \phi_p}$

均值：

E [X_{t}] = \frac{c}{1 - ϕ_{1} - ϕ_{2} - \dots - ϕ_{p}}

$\boxed{E[X_t] = \frac{c}{1 - \phi_1 - \phi_2 - \dots - \phi_p}}$

2. 方差（Variance）

推导：
对于平稳AR(p)模型，方差 $\gamma_0 = \text{Var}(X_t)$ 满足：

γ_{0} = ϕ_{1} γ_{1} + ϕ_{2} γ_{2} + \dots + ϕ_{p} γ_{p} + σ^{2}

$\gamma_0 = \phi_1 \gamma_1 + \phi_2 \gamma_2 + \dots + \phi_p \gamma_p + \sigma^2$

其中 $\gamma_k$ 是滞后 $k$ 的自协方差。通过Yule-Walker方程求解 $\gamma_0$ 。
方差：

Var (X_{t}) = γ_{0}

$\boxed{\text{Var}(X_t) = \gamma_0}$

需通过Yule-Walker方程求解。

3. 自相关函数（ACF）

自协方差函数 $\gamma_k$ 满足：

γ_{k} = ϕ_{1} γ_{k - 1} + ϕ_{2} γ_{k - 2} + \dots + ϕ_{p} γ_{k - p}, k > 0

$\gamma_k = \phi_1 \gamma_{k-1} + \phi_2 \gamma_{k-2} + \dots + \phi_p \gamma_{k-p}, \quad k > 0$

自相关系数 $\rho_k = \frac{\gamma_k}{\gamma_0}$ 满足：

ρ_{k} = ϕ_{1} ρ_{k - 1} + ϕ_{2} ρ_{k - 2} + \dots + ϕ_{p} ρ_{k - p}, k > 0

$\rho_k = \phi_1 \rho_{k-1} + \phi_2 \rho_{k-2} + \dots + \phi_p \rho_{k-p}, \quad k > 0$

ACF特性： $\boxed{\text{ACF拖尾}}$
指数或震荡衰减，无限延续。

4. 偏自相关函数（PACF）

PACF $\phi_{kk}$ 表示剔除中间 $k-1$ 个变量影响后， $X_t$ 与 $X_{t-k}$ 的相关系数。
对于AR(p)模型，PACF在滞后 $p$ 后截尾。
推导：
PACF $\phi_{kk}$ 可通过Yule-Walker方程或递归公式计算。对于AR(p)模型：

ϕ_{k k} = 0, k > p

$\phi_{kk} = 0, \quad k > p$

PACF特性：

$\boxed{\text{PACF截尾}}$ ，当 $k > p$ 时 $\phi_{kk} = 0$ 。

总结

统计量	AR(p) 模型特性
均值	$E[X_t] = \frac{c}{1 - \phi_1 - \phi_2 - \dots - \phi_p}$
方差	$\text{Var}(X_t) = \gamma_0$ ，需通过Yule-Walker方程求解
ACF	拖尾：指数或震荡衰减（无限延续）
PACF	截尾：当 $k > p$ 时 $\phi_{kk} = 0$
示例（AR(1))：

均值： $\mu = \frac{c}{1 - \phi_1}$
方差： $\gamma_0 = \frac{\sigma^2}{1 - \phi_1^2}$
ACF： $\rho_k = \phi_1^k$ （指数衰减）
PACF： $\phi_{11} = \phi_1$ ， $\phi_{kk} = 0$ （ $k > 1$ ）

二、MA模型

MA(q)模型的均值、方差、自相关函数（ACF）和偏自相关函数（PACF）推导如下：

1. 均值（Mean）

MA(q)模型形式为：

X_{t} = μ + ε_{t} + θ_{1} ε_{t - 1} + θ_{2} ε_{t - 2} + \dots + θ_{q} ε_{t - q}

$X_t = \mu + \varepsilon_t + \theta_1 \varepsilon_{t-1} + \theta_2 \varepsilon_{t-2} + \dots + \theta_q \varepsilon_{t-q}$

其中是白噪声，满足， $\text{Var}(\varepsilon_t) = \sigma^2$ 。
推导：

E [X_{t}] = μ + E [ε_{t}] + θ_{1} E [ε_{t - 1}] + \dots + θ_{q} E [ε_{t - q}] = μ

$E[X_t] = \mu + E[\varepsilon_t] + \theta_1 E[\varepsilon_{t-1}] + \dots + \theta_q E[\varepsilon_{t-q}] = \mu$

均值：

E [X_{t}] = μ

$\boxed{E[X_t] = \mu}$

2. 方差（Variance）

推导：

Var (X_{t}) = Var (ε_{t} + θ_{1} ε_{t - 1} + \dots + θ_{q} ε_{t - q})

$\text{Var}(X_t) = \text{Var}\left( \varepsilon_t + \theta_1 \varepsilon_{t-1} + \dots + \theta_q \varepsilon_{t-q} \right)$

由于 $\varepsilon_t$ 独立，方差为各分量方差之和：

Var (X_{t}) = σ^{2} (1 + θ_{1}^{2} + θ_{2}^{2} + \dots + θ_{q}^{2})

$\text{Var}(X_t) = \sigma^2 \left( 1 + \theta_1^2 + \theta_2^2 + \dots + \theta_q^2 \right)$

方差：

Var (X_{t}) = σ^{2} (1 + \sum_{i = 1}^{q} θ_{i}^{2})

$\boxed{\text{Var}(X_t) = \sigma^2 \left( 1 + \sum_{i=1}^q \theta_i^2 \right)}$

3. 自相关函数（ACF）

自协方差函数为：

γ_{k} = Cov (X_{t}, X_{t - k}) = E [(X_{t} - μ) (X_{t - k} - μ)]

$\gamma_k = \text{Cov}(X_t, X_{t-k}) = E\left[ (X_t - \mu)(X_{t-k} - \mu) \right]$

对于 $k > q$ ， $X_t$ 和 $X_{t-k}$ 无重叠的 $\varepsilon$ 项，故 $\gamma_k = 0$ 。
对于 $1 \leq k \leq q$ ，协方差由共同的白噪声项贡献：

γ_{k} = σ^{2} \sum_{j = 0}^{q - k} θ_{j} θ_{j + k} （其中 θ_{0} = 1 ）

$\gamma_k = \sigma^2 \sum_{j=0}^{q-k} \theta_j \theta_{j+k} \quad \text{（其中 } \theta_0 = 1\text{）}$

自相关系数：

ρ_{k} = \frac{γ_{k}}{γ_{0}} = \frac{\sum_{j = 0}^{q - k} θ_{j} θ_{j + k}}{1 + \sum_{i = 1}^{q} θ_{i}^{2}}

$\rho_k = \frac{\gamma_k}{\gamma_0} = \frac{\sum_{j=0}^{q-k} \theta_j \theta_{j+k}}{1 + \sum_{i=1}^q \theta_i^2}$

ACF特性：

当 $k > q$ 时， $\boxed{\rho_k = 0}$ （截尾现象）。
当 $k \leq q$ 时， $\rho_k$ 由上述公式给出。

4. 偏自相关函数（PACF）

PACF $\phi_{kk}$ 表示剔除中间 $k-1$ 个变量影响后， $X_t$ 与 $X_{t-k}$ 的相关系数。
对于MA(q)模型，PACF不截尾，而是拖尾（指数或震荡衰减），可通过以下方式理解：

MA(q)可逆时，可表示为AR(∞)，因此PACF无限延伸。
例（MA(1)）： PACF满足

ϕ_{k k} = (- 1)^{k} \frac{θ^{k} (1 - θ^{2})}{1 - θ^{2 (k + 1)}}

$\phi_{kk} = (-1)^k \frac{\theta^k (1 - \theta^2)}{1 - \theta^{2(k+1)}}$

（绝对值指数衰减）。
PACF特性：

$\boxed{\text{PACF拖尾}}$ ，无闭合表达式，需通过Yule-Walker方程递归计算。

5. 总结

统计量	MA(q) 模型特性
均值	$E[X_t] = \mu$
方差	$\text{Var}(X_t) = \sigma^2 \left(1 + \sum_{i=1}^q \theta_i^2\right)$
ACF	截尾： $\rho_k = 0$ （当 $k > q$ ）
PACF	拖尾：指数或震荡衰减（无限延续）
示例（MA(1))：

ACF: $\rho_1 = \frac{\theta}{1 + \theta^2}$ ， $\rho_k = 0$ （ $k > 1$ ）
PACF: $\phi_{kk} \propto (-\theta)^k$ （逐步衰减）

三、ARMA模型

ARMA(p, q)模型的均值、方差、自相关函数（ACF）和偏自相关函数（PACF）推导如下：

1. 均值（Mean）

ARMA(p, q)模型形式为：

X_{t} = c + ϕ_{1} X_{t - 1} + ϕ_{2} X_{t - 2} + \dots + ϕ_{p} X_{t - p} + ε_{t} + θ_{1} ε_{t - 1} + θ_{2} ε_{t - 2} + \dots + θ_{q} ε_{t - q}

$X_t = c + \phi_1 X_{t-1} + \phi_2 X_{t-2} + \dots + \phi_p X_{t-p} + \varepsilon_t + \theta_1 \varepsilon_{t-1} + \theta_2 \varepsilon_{t-2} + \dots + \theta_q \varepsilon_{t-q}$

其中是白噪声，满足， $\text{Var}(\varepsilon_t) = \sigma^2$ 。
推导：
假设平稳性，均值为常数 $E[X_t] = \mu$ ，则：

μ = c + ϕ_{1} μ + ϕ_{2} μ + \dots + ϕ_{p} μ

$\mu = c + \phi_1 \mu + \phi_2 \mu + \dots + \phi_p \mu$

解得：

μ = \frac{c}{1 - ϕ_{1} - ϕ_{2} - \dots - ϕ_{p}}

$\mu = \frac{c}{1 - \phi_1 - \phi_2 - \dots - \phi_p}$

均值： $\boxed{E[X_t] = \frac{c}{1 - \phi_1 - \phi_2 - \dots - \phi_p}}$

2. 方差（Variance）

推导：
对于平稳ARMA(p, q)模型，方差 $\gamma_0 = \text{Var}(X_t)$ 满足：

γ_{0} = \sum_{i = 1}^{p} ϕ_{i} γ_{i} + σ^{2} (1 + \sum_{j = 1}^{q} θ_{j}^{2})

$\gamma_0 = \sum_{i=1}^p \phi_i \gamma_i + \sigma^2 \left( 1 + \sum_{j=1}^q \theta_j^2 \right)$

其中 $\gamma_k$ 是滞后 $k$ 的自协方差。通过Yule-Walker方程或递归公式求解 $\gamma_0$ 。
方差： $\boxed{\text{Var}(X_t) = \gamma_0}$ ，需通过递归或Yule-Walker方程求解。

3. 自相关函数（ACF）

自协方差函数 $\gamma_k$ 满足：

γ_{k} = ϕ_{1} γ_{k - 1} + ϕ_{2} γ_{k - 2} + \dots + ϕ_{p} γ_{k - p}, k > q

$\gamma_k = \phi_1 \gamma_{k-1} + \phi_2 \gamma_{k-2} + \dots + \phi_p \gamma_{k-p}, \quad k > q$

自相关系数 $\rho_k = \frac{\gamma_k}{\gamma_0}$ 满足：

ρ_{k} = ϕ_{1} ρ_{k - 1} + ϕ_{2} ρ_{k - 2} + \dots + ϕ_{p} ρ_{k - p}, k > q

$\rho_k = \phi_1 \rho_{k-1} + \phi_2 \rho_{k-2} + \dots + \phi_p \rho_{k-p}, \quad k > q$

ACF特性：

$\boxed{\text{ACF拖尾}}$ ，指数或震荡衰减，无限延续。

4. 偏自相关函数（PACF）

PACF $\phi_{kk}$ 表示剔除中间 $k-1$ 个变量影响后， $X_t$ 与 $X_{t-k}$ 的相关系数。
对于ARMA(p, q)模型，PACF在滞后 $p$ 后拖尾。
推导：
PACF $\phi_{kk}$ 通过Yule-Walker方程或递归公式计算。对于ARMA(p, q)模型：

ϕ_{k k} 拖尾，无限延续

$\phi_{kk} \text{ 拖尾，无限延续}$

PACF特性：

$\boxed{\text{PACF拖尾}}$ ，无闭合表达式，需通过递归计算。

总结

统计量	ARMA(p, q) 模型特性
均值	$E[X_t] = \frac{c}{1 - \phi_1 - \phi_2 - \dots - \phi_p}$
方差	$\text{Var}(X_t) = \gamma_0$ ，需通过递归或Yule-Walker方程求解
ACF	拖尾：指数或震荡衰减（无限延续）
PACF	拖尾：无限延续，无闭合表达式

补充说明

ARMA(1,1) 示例：
- 均值： $\mu = \frac{c}{1 - \phi_1}$
- 方差： $\gamma_0 = \frac{1 + \theta_1^2 + 2 \phi_1 \theta_1}{1 - \phi_1^2} \sigma^2$
- ACF： $\rho_1 = \frac{(1 + \phi_1 \theta_1)(\phi_1 + \theta_1)}{1 + \theta_1^2 + 2 \phi_1 \theta_1}$ ， $\rho_k = \phi_1 \rho_{k-1}$ （ $k > 1$ ）
- PACF：拖尾，无限延续。
ARMA模型特性：
- ACF 和 PACF 均拖尾，无法通过简单截尾判断阶数，需结合其他方法（如AIC、BIC）确定 $p$ 和 $q$ 。

posted @ 2025-02-19 09:35 redufa 阅读(43) 评论(0) 编辑收藏举报

刷新页面返回顶部

登录后才能查看或发表评论，立即登录或者逛逛博客园首页

相关博文：

· 时间序列模型总结

· time_series_book

· 时间序列分析2.X AR与MA

· 时间序列分析 (4) — ARIMA 模型：ACF、PACF

· Python-机器学习算法交易实用指南-全-

阅读排行：
· TypeScript + Deepseek 打造卜卦网站：技术与玄学的结合
· 阿里巴巴 QwQ-32B真的超越了 DeepSeek R-1吗？
· 如何调用 DeepSeek 的自然语言处理 API 接口并集成到在线客服系统
· 【译】Visual Studio 中新的强大生产力特性
· 2025年我用 Compose 写了一个 Todo App