数学 - 回归分析 - 第 6 章 多重共线性的情形及其处理 - 6.1 多重共线性产生的背景和原因

6.1 多重共线性产生的背景和原因

6.1.1 多重共线性的定义

多元线性回归模型有一个基本假设，就是要求设计矩阵 \(X\) 的秩 \(\text{rank} = p+1\)，即要求 \(X\) 中的列向量之间线性无关。如果存在不全为零的 \(p+1\) 个数 \(c_0\)，\(c_1\)，\(\cdots\)，\(c_p\) 使得

\[c_0 + c_1 x_{i1} + c_2 x_{i2} + \cdots + c_p x_{ip} = 0, \quad i = 1,2, \cdots,n \tag{6.1.1} \]

则自变量 \(x_1\)，\(x_2\)，\(\cdots\)，\(x_p\) 之间存在完全多重共线性。在实际问题中，完全的多重共线性并不多见，更常见的是式 \((6.1.1)\) 近似成立的情况，即存在不全为零的 \(p+1\) 个数 \(c_0\)，\(c_1\)，\(\cdots\)，\(c_p\) 使得

\[c_0 + c_1 x_{i1} + c_2 x_{i2} + \cdots + c_p x_{ip} \approx 0, \quad i = 1,2, \cdots,n \tag{6.1.2} \]

当自变量 \(x_1\)，\(x_2\)，\(\cdots\)，\(x_p\) 存在式 \((6.1.2)\) 所示的关系时，称自变量 \(x_1\)，\(x_2\)，\(\cdots\)，\(x_p\) 之间多重共线性，也称复共线性。

6.1.2 多重共线性的例子

解释变量之间完全不相关的情形是非常少见的，尤其是研究某个问题涉及的自变量较多，我们很难找到一组自变量，它们之间互不相关的，同时它们又都对因变量有显著影响。

客观地说，当某一现象涉及多个影响因素时，这些影响因素之间大多有一定的相关性。当它们之间的相关性较弱时，我们一般认为符合多元线性回归模型设计矩阵的要求；当这一组变量间有较强的相关性时，就认为是一种违背多元线性回归模型基本假设的情形。

当所涉及的问题涉及时间序列资料时，由于变量间往往随时间存在共同的变化趋势，它们之间容易出现共线性。例如，我国近年来的经济增长态势良好，经济增长对各种经济现象都产生了影响，使得多种经济指标相互密切关联。

对于许多使用横截面数据建立回归方程的问题，常常也存在自变量高度相关的情形。例如，以企业的横截面数据为样本估计生产函数，由于投入要素资本 \(K\)，劳动力投入 \(L\)、科技投入 \(S\)、能源供应 \(E\) 都与企业的生产规模有关，所以它们之间存在较强的相关性。

以一个模型为例，有人在建立某地区粮食产量的回归模型时，以粮食产量为因变量 \(y\)，以化肥用量 \(x_1\)，水浇地面积 \(x_2\)，农业资金投入 \(x_3\) 等作为自变量。从表面上我们看到 \(x_1\)，\(x_2\)，\(x_3\) 都是影响粮食产量 \(y\) 的重要因素，可是建立的 \(y\) 关于 \(x_1\)，\(x_2\)，\(\cdots\)，\(x_3\) 的回归方程效果很差。原因在于，尽管所选自变量 \(x_1\)，\(x_2\)，\(x_3\) 都是影响因变量 \(y\) 的重要因素，但是农业资金投入 \(x_3\) 与化肥用量 \(x_1\)，水浇地面积 \(x_2\) 有很强的相关性，农业资金投入主要用于购买化肥和开发水利。进一步计算 \(x_3\) 分别与 \(x_1\)，\(x_2\) 的简单相关系数，得到 \(r_{13} = 0.98\)，\(r_{23} = 0.99\)，呈现高度相关。剔除 \(x_3\) 后重新建立回归模型，结果变得理想。