残差

残差对应的英文应该是 residual 吧，举一个简单的 multivariate regression model 的例子
Y = Xβ + ε，
这里 X 是一个 矩阵， β是要估计的参数，是一个向量，ε 就是 random error。
如果你用 最小二乘法估计，那么你得到了Y的预测值，即 Y_hat (就是Y 上一个hat，我现在打不出来），这样 预测残差值就是 ε_hat = Y - Y_hat， 就是实际观测值和预测值的差。

 

追问

实际观测值与预测值之差不就是残差值么，残差值和预测残差值这两个概念一样？

 

追答

你好！首先表示抱歉，我没有仔细想就给出了回答。我刚才又查了一下，发现我上面的答案确实是对residual的解释，而并非predicted residual。

我在SAS 里找了一下predicted residual的定义是这样的：
predicted residual for observation i is defined as the residual for the ith observation that results from dropping the ith observation from the parameter estimates.
也就是说把第i个观测值删掉，然后再回归后得到的新的residual。
predicted residual 主要用于算 PRESS （predicted residual sums of squares），这个在确定 influential points 时有用 （在我所学的知识中predicted residual的应用仅限于此，是否有其他用途我就也不晓得了）。