学习笔记106—统计学 决定系数(Coefficient of Determination) 和 相关系数 (Correlation of Coefficient )

在对数据进行线性回归计算之后,我们能够得出相应函数的系数, 那么我们如何知道得出的这个系数对方程结果的影响有强呢?
所以我们用到了一种方法叫 coefficient of determination (决定系数) 来判断 回归方程 拟合的程度.

首先我们先定义几个概念

1. Sum Of Squares Due To Error

对于第i个观察点, 真实数据的Yi与估算出来的Yi-head的之间的差称为第i个residual, SSE 就是所有观察点的residual的和，

SSE越接近于0，说明模型选择和拟合更好，数据预测也越成功。接下来的MSE和RMSE因为和SSE是同出一宗，所以效果一样，

其中，

MSE(均方差): 该统计参数是预测数据和原始数据对应点误差的平方和的均值，也就是SSE/n，和SSE没有太大的区别，计算公式如下：MSE = SSE/n

RMSE(均方根): 该统计参数，也叫回归系统的拟合标准差，是MSE的平方根，就算公式如下: RMSE = √MSE。

2. Total Sum Of Squares

3. Sum Of Squares Due To Regression

通过以上我们能得到以下关于他们三者的关系

4、

决定系数: 判断 回归方程 的拟合程度

(coefficient of determination)决定系数也就是说: 通过回归方程得出的 dependent variable 有 number% 能被 independent variable 所解释. 判断拟合的程度

单独看 R-Squared，并不能推断出增加的特征是否有意义。通常来说，增加一个特征值，R-Squared 可能变大也可能保持不变，两者不一定呈正相关。多元线性回归中，校正决定系数（Adjusted R-Squared）引入了样本数量和特征数量，公式如下：

其中，n 是样本数量，p 是特征数量。Adjusted R-Squared 抵消样本数量对 R-Squared 的影响，做到了真正的 0~1，越大越好。

增加一个特征变量，如果这个特征有意义，Adjusted R-Square 就会增大，若这个特征是冗余特征，Adjusted R-Squared 就会减小。

 

(Correlation coefficient) 相关系数 : 测试dependent variable 和 independent variable 他们之间的线性关系有多强. 也就是说, independent variable 产生变化时 dependent variable 的变化有多大.

可以反映是正相关还是负相关。

原文链接：https://blog.csdn.net/ytdxyhz/article/details/51730995