回归分析

回归的思想

回归的分类


回归分析：研究x和y之间相关性的分析
这里有三个关键词：
1、相关性
2、X
3、Y

1、相关性 ！= 因果性

数据的分类

横截面数据

时间序列数据

面板数据

一元线性回归

残差平方和在机器学习中被称为损失函数
对于线性回归中线性的理解

一元线性回归模型

最小二乘法（OLS普通最小二乘法）

检验

1、回归方程的显著性检验

显著性水平是估算整体参数落在某一个区间可能犯错的概率，一般用$\mathrm{\alpha }$表示，取值一般为0.05

异方差与多重共线

存在异方差会出现的问题：
1、OLS估计出来的回归系数是无偏的、一致的
2、假设检验无法使用（构造的统计量失效了）
3、OLS估计量不再是最优线性无偏估计量
怎么解决异方差问题：
1、使用OLS+稳健的标准误
2、广义最小二乘法GLS
检验异方差：
1、BP检验（怀特检验的特殊情况）
2、怀特检验（应用范围更广）

---

多重共线性
多重共线性导致的问题：
1、对系数的估计变得不准确
2、回归方程的R^2很大，F检验也很显著，但是单个系数的t检验并不显著
如何检验多重共线性：
通过方差膨胀因子VIF

解决多重共线性的方法：
1、增大样本容量（最好的方法但是不现实）
2、删除VIF>10的变量

如果仅仅是为了预测而不关心回归系数，即使模型存在多重共线性我们也不用管
逐步回归也可以解决多重共线性的问题