一元线性回归模型

一元线性回归模型是一种用于分析两个变量之间线性关系的统计方法。以下是对该模型的详细总结：

1. 模型形式

一元线性回归模型表示为：

[ y = \beta_0 + \beta_1 x + \varepsilon ]

其中：

• ( y ) 是因变量。

• ( x ) 是自变量。

• ( \beta_0 ) 是截距项。

• ( \beta_1 ) 是斜率（回归系数）。

• ( \varepsilon ) 是随机误差项，满足均值为0、同方差、独立且正态分布。

2. 参数估计（最小二乘法）

通过最小化残差平方和（RSS）来估计参数：

[ \text{RSS} = \sum_{i=1}^n (y_i - \hat{y}i)^2 = \sum^n (y_i - \beta_0 - \beta_1 x_i)^2 ]

求解正规方程：

对 ( \beta_0 ) 和 ( \beta_1 ) 求偏导并令其为零，得到方程组：

[

\begin{cases}

n\beta_0 + \beta_1 \sum x_i = \sum y_i \

\beta_0 \sum x_i + \beta_1 \sum x_i^2 = \sum x_i y_i

\end{cases}

]

参数解：

[

\beta_1 = \frac{n\sum x_i y_i - \sum x_i \sum y_i}{n\sum x_i^2 - (\sum x_i)^2}, \quad

\beta_0 = \bar{y} - \beta_1 \bar{x}

]

其中 ( \bar{x} ) 和 ( \bar{y} ) 为样本均值。

3. 模型评估

• 决定系数（( R^2 )）：衡量模型解释的变异比例。

  [

  R^2 = \frac{\text{SSR}}{\text{SST}} = 1 - \frac{\text{SSE}}{\text{SST}}

  ]

  • SSR（回归平方和）：( \sum (\hat{y}_i - \bar{y})^2 )

  • SSE（残差平方和）：( \sum (y_i - \hat{y}_i)^2 )

  • SST（总平方和）：( \sum (y_i - \bar{y})^2 )

4. 假设检验

• t检验：检验回归系数 ( \beta_1 ) 是否显著不为零。

  • 标准误（SE）计算：

    [

    \text{SE}(\beta_1) = \sqrt{\frac{\text{SSE}/(n-2)}{\sum (x_i - \bar{x})^2}}

    ]

  • t统计量：

    [

    t = \frac{\beta_1}{\text{SE}(\beta_1)}

    ]

  • 自由度 ( df = n-2 )，查t分布表判断显著性。

5. 残差分析

验证模型假设：

• 正态性：Q-Q图或Shapiro-Wilk检验。

• 同方差性：残差与拟合值的散点图应无趋势。

• 独立性：Durbin-Watson检验（时间序列数据）。

6. 预测区间

• 均值置信区间：预测平均值的波动范围。

• 个别值预测区间：预测单个观测值的波动范围，区间更宽。

示例推导

给定数据：

[

x = [1, 2, 3, 4, 5], \quad y = [2, 4, 5, 4, 5]

]

计算得：

[

\beta_1 = 0.6, \quad \beta_0 = 2.2, \quad R^2 = 0.6

]

假设检验显示 ( \beta_1 ) 在 ( \alpha=0.05 ) 水平下不显著（( t \approx 2.12 )，临界值3.182）。

总结

一元线性回归通过最小二乘法拟合直线，量化变量间线性关系，辅以统计检验和残差分析确保模型有效性。适用于探索性分析和预测，但需严格验证假设条件。