计量经济学复习笔记（六）：带约束回归

之前我们讨论过线性回归模型的最基础假设检验，即检验模型系数是否显著为0，这是为了检验模型的解释变量选择是否得当。然而，多元线性回归比一元线性回归复杂，我们面临的检验也可能千变万化，比如同时检验几个模型系数是否显著为0，比较几个模型系数是否相等，比较两个线性回归模型是否出于同一个回归方程，等等。这些假设检验，都可以归为一类——线性假设。因此，本节中我们先讨论线性假设的检验问题，为之后具体的应用打好基础。需要注意的是，尽管线性假设的检验原理比较复杂，但是忽略数理推导直接记住结论难度是不大的，因此读者也可以有选择地阅读。

在讨论线性约束假设之前，我们还要先了解带约束回归。

1、带约束回归

带约束回归指的是，给参数估计量的取值域作出一定的限制。在之前的讨论中，我们没有对参数的取值作任何限制，从而得到\(\hat\beta=(X'X)^{-1}(X'Y)\)的OLS估计量，现在如果我们给\(\hat\beta\)的取值域增加一定的限制，参数估计量会是怎样的？以最简单的线性约束为例，如果我们要求\(\hat\beta_1=a\hat\beta_2\)，则线性回归模型就变成

\[\begin{aligned} Y=&\hat\beta_0+a\hat\beta_2X_1+\hat\beta_2X_2+\cdots+\hat\beta_kX_k+\mu \\ =&\hat\beta_0+\hat\beta_2(aX_1+X_2)+\cdots+\hat\beta_kX_k+\mu, \end{aligned}\tag{6.1} \]

相当于减少一个回归系数后，重新计算数据阵和OLS估计量。

一般像这种约束条件很少，且只涉及很少变量的，如\(\beta_1=1-\beta_2,\beta_1=2\beta_2+2\)之类的约束条件，都可以通过系数变换直接改变数据矩阵的形态，然而当约束条件增多、每个条件涉及的变量增多时，系数变换就不是那么好使了。

假设线性约束为\(A\beta=b\)，这里\(A\)是\(m\times (k+1)\)满秩矩阵（这里满秩的要求是合理的，因为约束条件全部已知，我们当然可以直接筛选掉线性相关的条件），\(b\)是\(m\times 1\)列向量。我们可以把线性约束改写成以下\(m\)个式子：

\[A\beta=b\Rightarrow \begin{pmatrix} a_1 \\ a_2 \\ \vdots \\ a_m \end{pmatrix}\beta=\begin{pmatrix} b_1 \\ b_2 \\ \vdots \\ b_m \end{pmatrix},\tag{6.2} \]

这里\(a_1,\cdots,a_m\)是行向量，\(b_1,\cdots,b_m\)为常数。在此线性约束下求\(\beta\)的OLS估计，要用到Lagrange乘子法，直接给出向量形式，设\(\lambda=(\lambda_1,\cdots,\lambda_m)'\)是常数列向量，则

\[F(\hat\beta,\lambda)=(Y-X\hat\beta)'(Y-X\hat\beta)+2\lambda'(A\hat\beta-b),\tag{6.3} \]

对其求偏导，就有

\[\frac{\partial F(\hat\beta,\lambda)}{\partial \hat\beta}=2(X'X\hat\beta-X'Y+A'\lambda)=0,\\ \frac{\partial F(\hat\beta,\lambda)}{\partial \lambda}=A\hat\beta-b=0,\tag{6.4} \]

设模型的解为\(\hat\beta_A,\lambda_A\)，无约束方程模型的解为\(\hat\beta\)，则步骤可以简化为

\[\hat\beta_A=(X'X)^{-1}X'Y-(X'X)^{-1}A'\lambda_A=\hat\beta-(X'X)^{-1}A'\lambda_A ,\\ A\hat\beta-A(X'X)^{-1}A'\lambda_A=b,\\ A(X'X)^{-1}A'\lambda_A=A\hat\beta-b.\tag{6.5} \]

现在\(A\)行满秩，所以\(A(X'X)^{-1}A'\)是\(m\times m\)可逆矩阵，于是

\[\lambda_A=[A(X'X)^{-1}A']^{-1}(A\hat\beta-b),\\ \hat\beta_A=\hat\beta-(X'X)^{-1}A'[A(X'X)^{-1}A']^{-1}(A\hat\beta-b).\tag{6.6} \]

因此我们得到如下的结论：当线性回归模型系数被加以\(A\beta=b\)的约束时，设\(\hat\beta\)是无约束的OLS估计量\(\hat\beta=(X'X)^{-1}(X'Y)\)，则受约束的OLS估计量被称为满足约束条件\(A\beta=b\)的OLS估计\(\hat\beta_A\)，满足

\[\hat\beta_A=\hat\beta-(X'X)^{-1}A'[A(X'X)^{-1}A']^{-1}(A\hat\beta-b).\tag{6.7} \]

2、约束合理性检验

在实际生活中，我们也会对回归系数施加一定的约束，但这样的约束是不是合理的，也就是实际生活中是否真实存在着这样的约束？这是需要我们检验的。在约束合理性检验中，我们就要对以下约束条件进行假设检验：

\[H_0:A\beta=b,\quad r(A)=m.\tag{6.8} \]

需要注意，这样的\(H_0\)能够涵盖所有的线性约束，我们接下来要讨论的线性约束问题也全部源于\(A\beta=b\)的假设检验。因此，我们会着重讨论\(H_0\)的假设检验中的定理与性质。

进行假设检验运用的主要工具是残差平方和\({\rm RSS}\)，根据\(H_0\)的成立与否，存在着两种不同的回归系数：无约束回归系数\(\hat\beta=(X'X)^{-1}X'Y\)与约束回归系数\(\hat\beta_H=\hat\beta-(X'X)^{-1}A'[A(X'X)^{-1}A']^{-1}(A\hat\beta -b)\)；用这两组系数算出的回归方程可以得到两个残差平方和：无约束残差平方和\({\rm RSS}\)与约束残差平方和\({\rm RSS}_H\)。这两个残差平方和，显然是\({\rm RSS}\le {\rm RSS}_H\)，因为约束\(A\beta=b\)压缩了\(\hat\beta\)的取值域，导致残差平方和会更大。

称\({\rm RSS}_H-{\rm RSS}\)为约束增加的残差平方和。试想，如果约束条件本身就存在于线性模型之中，则施加约束无异于多此一举，所以\({\rm RSS}_H-{\rm RSS}\)应该会比较小，因为新增的约束对\(\hat\beta\)的取值影响不大；而如果约束条件本身不存在于线性模型中，则施加约束很可能对回归系数的取值造成很大影响，因此\({\rm RSS}_H-{\rm RSS}\)应该会比较大。基于这个思想，我们要探究\({\rm RSS}_H-{\rm RSS}\)在\(H_0\)成立时的分布，从而找到所谓“大”的阈值。

所以现在我们假设\(H_0\)成立，也就是\(A\beta=b\)的约束存在，看看\({\rm RSS}_H-{\rm RSS}\)的分布如何。

\[\begin{aligned} {\rm RSS}_H=&\sum_{i=1}^n(Y_i-X_i\hat\beta_H)^2\\ =&\sum_{i=1}^n(Y_i-X_i\hat\beta+X_i\hat\beta-X_i\hat\beta_H)^2\\ =&\sum_{i=1}^n(Y_i-X_i\hat\beta)^2+\sum_{i=1}^n[X_i(\hat\beta-\hat\beta_H)]^2\\ =&{\rm RSS}+(\hat\beta-\hat\beta_H)'X'X(\hat\beta-\hat\beta_H), \end{aligned}\tag{6.9} \]

这里第二个等号到第三个等号运用了\(\hat\beta\)正规方程的性质，即\(\sum X_i(Y_i-X_i\hat\beta)=0\)。而

\[\hat\beta_H=\hat\beta-(X'X)^{-1}A'[A(X'X)^{-1}A']^{-1}(A\hat\beta-b),\\ \hat\beta-\hat\beta_H=(X'X)^{-1}A'[A(X'X)^{-1}A']^{-1}(A\hat\beta-b),\\ {\rm RSS}_H-{\rm RSS}=(A\hat\beta-b)'[A(X'X)^{-1}A']^{-1}(A\hat\beta-b).\tag{6.10} \]

在\(b=A\beta\)的条件下，有

\[\hat\beta-\hat\beta_H=(X'X)^{-1}A'[A(X'X)^{-1}A']^{-1}A(\hat\beta-\beta).\tag{6.11} \]

结合\(\hat\beta\)的分布：\(\hat\beta\sim N(\beta,\sigma^2(X'X)^{-1})\)，可以计算\(A(\hat\beta-\beta)\)的分布为

\[A(\hat\beta-\beta)\sim N(0,\sigma^2A(X'X)^{-1}A').\tag{6.12} \]

我们已经知道\(A(X'X)^{-1}A'\)满秩\(r[A(X'X)^{-1}A]=m\)，故可逆，于是结合上一章的引理1，得到

\[\frac{{\rm RSS}_H-{\rm RSS}}{\sigma^2}\sim \chi^2_m.\tag{6.13} \]

这样我们找到了\(H_0\)成立的情况下，\({\rm RSS}_H-{\rm RSS}\)的分布，也就可以通过\(\chi^2\)分布的分位数来判断\(H_0\)是否成立。但事实上我们一般不用这个统计量，其原因是\(\sigma^2\)未知，我们无法构造出已知精确分布的枢轴量。如果我们能够抵消掉\(\sigma^2\)的影响，就能够使用精确分布了，在什么地方出现过\(\sigma^2\)呢？我们会想到\({\rm RSS}/\sigma^2\sim \chi^2_{n-k-1}\)，因此如果\({\rm RSS}_H-{\rm RSS}\)与\({\rm RSS}\)相互独立，我们就可以构造出一个\(F\)分布统计量来进行假设检验。

幸运的是，\({\rm RSS}_H-{\rm RSS}\)与\({\rm RSS}\)在满足约束\(H_0:A\beta=b\)时，确实是相互独立的，这里忽略证明。在这个条件下可以构造\(F\)统计量为

\[F=\frac{({\rm RSS}_H-{\rm RSS})/m}{{\rm RSS}/(n-k-1)}\stackrel{H_0}\sim F_{m,n-k-1}.\tag{6.14} \]

这样，通过\(F\)分布表，我们就解决了约束的检验问题，接下来看一些实际应用。

3、约束实例

以下举出一些假设检验的实例，我们可以发现大多数假设检验都可以用受约束回归的条件检验问题来实现。

一、变量的增减

变量的增加与减少，其实就是考虑某个解释变量是否被包含进模型，即检验其模型系数是否显著为0。之前我们已经用\(t\)分布检验过单个模型系数的检验，现在引入了受约束回归检验，可以同时检验多个变量是否同时不显著。

对于线性回归模型

\[Y=X\beta+\mu,X=(X_1,\cdots,X_k),\tag{6.15} \]

如果我们要检验\(X_1,X_2\)是否同时不显著，即进行以下检验，我们尝试用矩阵表达出这个检验。

\[H_0:\beta_1=\beta_2=0\leftrightarrow \begin{pmatrix} 0 & 1 & 0 & \cdots & 0 \\ 0 & 0 & 1 & \cdots & 0 \end{pmatrix}\begin{pmatrix} \beta_0 \\ \beta_1 \\ \beta_2 \\ \vdots \\ \beta_k \end{pmatrix}=\begin{pmatrix} 0 \\ 0 \end{pmatrix}.\tag{6.16} \]

这里\(r(A)=2\)，所以分别计算两组回归系数：

\[\hat\beta=(X'X)^{-1}X'Y,\\ \hat\beta_H=\hat\beta-(X'X)^{-1}A'[A(X'X)^{-1}A']^{-1}(A\hat\beta-b).\tag{6.17} \]

然后分别计算两个残差平方和，计算\(F\)统计量：

\[{\rm RSS}_H=(Y-X\hat\beta_H)'(Y-X\hat\beta_H),\\ {\rm RSS}=(Y-X\hat\beta)'(Y-X\hat\beta),\\ F=\frac{({\rm RSS}_H-{\rm RSS})/2}{{\rm RSS}/(n-k-1)}.\tag{6.18} \]

查阅分位数表，如果\(F\)统计量过大，则拒绝\(H_0\)，认为\(X_1,X_2\)不是同时不显著的。

二、回归模型的显著性

回归模型的显著性，指的是方程总体的显著性，如果模型不显著，则模型中的变量（不算\(X_0\)）对于被解释变量都没有贡献，也就是

\[\begin{pmatrix} 0 & I_k \end{pmatrix}\beta=0.\tag{6.19} \]

此时\(r(A)=k\)，很容易计算此时的\(\hat\beta_0=\bar Y\)，所以受约束残差平方和就是总离差平方和\({\rm TSS}\)。计算直接得到的\(F\)统计量是

\[F=\frac{{\rm ESS}/k}{{\rm RSS}/(n-k-1)}.\tag{6.20} \]

这是一个比较简约的形式，因为只出现了回归平方和与残差平方和。由于回归模型的显著性检验是十分常用的，我们也称之为回归模型的模型的\(F\)统计量。

联想可决系数的形式：\(R^2={\rm ESS}/{\rm TSS}\)与\((1-R^2)={\rm RSS}/{\rm TSS}\)，可以看到\(F\)统计量与可决系数具有很强的联系，我们可以推导出以下联系式：

\[F=\frac{\frac{{\rm ESS}}{{\rm TSS}}/k}{\frac{{\rm RSS}}{{\rm TSS}}/(n-k-1)}=\frac{R^2/k}{(1-R^2)/(n-k-1)}.\tag{6.21} \]

由此，在给定了\(F\)统计量或可决系数\(R^2\)的其中一个值以后，就可以由此联系式解出另外一个值。特别在一元线性回归模型下，\(F\)检验与回归系数\(\beta_1\)的\(t\)检验是一致的，我们再看回之前的例子。

这里F(1, 6)就是\(F\)统计量的值，Prob > F就是利用此统计量进行\(F\)检验的p-value，可以看到p-value=0.2596大于0.05，所以应该接受回归系数为0的原假设。事实上，变量x的t检验p-value也是0.260，这也说明了\(F\)检验与\(t\)检验在一元线性回归下一致。

我们可以利用这张表格来验证\(F\)统计量与可决系数\(R^2\)之间的关系，这里\(F=1.55,R^2=0.2053,k=1,n=8\)，所以

\[\frac{R^2/1}{(1-R^2)/6}=1.5500=F.\tag{6.22} \]

三、参数稳定性

接下来介绍一组特殊的检验方法，它是用于检验两组数据是否出于同一总体分布的，也就是从总体\(A\)中抽出一组数据，从总体\(B\)中抽出另一组数据，要检验总体\(A,B\)是否是相同的总体。这也是一种线性约束，我们可以先对方程进行建模。

此时的线性回归模型为

\[Y_A=X_A\beta_A+\mu_A,\\ Y_B=X_B\beta_B+\mu_B.\tag{6.23} \]

要检验的假设是\(H_0:\beta_A=\beta_B\)，为了将其与受约束回归进行关联，应当把两个回归模型进行联立（至少联立起两组回归参数），令

\[\beta=\begin{pmatrix} \beta_A \\ \beta_B \end{pmatrix}.\tag{6.24} \]

此时可以联立数据矩阵，建立如下的统一线性回归模型：

\[\begin{pmatrix} Y_A \\ Y_B \end{pmatrix}=\begin{pmatrix} X_A & O \\ O & X_B \end{pmatrix}\begin{pmatrix} \beta_A \\ \beta_B \end{pmatrix}+\begin{pmatrix} \mu_A \\ \mu_B \end{pmatrix}.\tag{6.25} \]

如果\(Y_A\)中有\(n_A\)条观测样本，\(Y_B\)中有\(n_B\)条观测样本，则统一的线性回归模型有\(n_A+n_B\)条观测样本，数据矩阵也是\((n_A+n_B)\times (2k+2)\)型的。

此时我们的线性约束是\(\beta_{0A}=\beta_{0B},\beta_{1A}=\beta_{1B},\cdots,\beta_{kA}=\beta_{kB}\)，所以线性约束可以写成以下的形式：

\[\begin{pmatrix} I_{k+1} & -I_{k+1} \end{pmatrix}\begin{pmatrix} \beta_A \\ \beta_B \end{pmatrix}=0,\tag{6.26} \]

此时\(r(A)=k+1\)，所以检验统计量为

\[F=\frac{({\rm RSS}_H-{\rm RSS})/(k+1)}{{\rm RSS}/(n_A+n_B-2k-2)}.\tag{6.27} \]

这种检验方法也被称为邹氏参数稳定性检验。

4、虚拟变量

最后我们来简要考虑一下计量经济学建模过程中需要考虑到的虚拟变量问题。虚拟变量用于度量无法定量分析的变量，如一年四季可能对小孩的溺死数目有影响，那么春、夏、秋、冬各自具有什么样的影响？如果只考虑一般的回归模型就无法解释。为了表达这类事件，我们要引入虚拟变量。对于事件\(A\)，虚拟变量就是

\[D_A=\left\{\begin{array}l 1,& A;\\ 0,& \bar A. \end{array}\right.\tag{6.28} \]

也就是发生取\(1\)，不发生取\(0\)的这样一种变量。

有了这样的虚拟变量，我们就可以把它加入线性回归模型，比如考虑受教育年限、性别对年薪的回归，我们取事件\(A\)为员工为女性，受教育年限为\(X_1\)，年薪为\(Y\)，则线性回归模型可以写成

\[Y=\beta_0+\beta_1X_1+\beta_2D_A+\mu.\tag{6.29} \]

唯一需要注意的是虚拟变量的设置必须是满秩的，比如考察季节对某因素的影响，不能够设置出四个虚拟变量，因为这样一定会有

\[D_1+D_2+D_3+D_4=1,\tag{6.30} \]

从而四个虚拟变量线性相关，造成数据矩阵不满秩。而数据矩阵不满秩会产生的后果，我们将会在后续的篇章中提到。

---

回顾多元线性回归的学习中，我们学习了以下几个方面：

1. 线性回归模型的基本假设：正确设定，\(X\)满秩，随机误差项序列不相关，随机误差项同均值方差，以及正态性假定。
2. 线性回归模型假定中，为什么要加入“条件”这个条件。
3. OLS估计量的求解：\(\hat\beta=(X'X)^{-1}X'Y\)，以及OLS估计量的BLUE性与一致性。
4. 结合正态性假定，进一步得到了\(\hat\beta\)的分布，从而进行区间估计与单参数假设检验。
5. 利用\(\hat\beta\)的分布对模型的预测作分析，得到\(Y_0\)关于\(\hat Y_0\)的条件分布。
6. 平方和分解式，进一步验证了残差平方和的分布服从\(\chi^2\)分布。
7. 受约束回归的系数求解，以及约束合理性的验证，从中得出了\(F\)检验。
8. 模型的线性化、虚拟变量等建模方式。

是否还都有印象？如果忘记了，最好稍作回顾。从下一章起，我们将推翻基本假定，研究这些基本假定的重要意义，并对BLUE性与一致性作简要证明。