机器学习:七种主要的回归分析
现在这篇文章只是一个提纲部分,后续会逐渐完善,但最后会是一篇综述的形式,因为示例部分内容过多,篇幅会过长,所以会以链接的形式呈现,具体内容在另外的博文中介绍。核心是sklearn库,但是sklearn官网给的示例都比较简单,我会选择一些更符合实际的例子来介绍这些功能。
一、Linear Regression线性回归
1.简述
这里的线性回归主要是指用普通最小二乘法拟合数据,因为无论是多项式回归,还是岭回归、套索回归等都是对普通最小二乘法(OLS)的改进,解决OLS过度拟合的问题。
2.数学公式
3.函数及其部分参数及返回值说明
4.示例
1)scipy中的最小二乘法
2)sklearn.linear_model中的最小二乘法
机器学习:scipy和sklearn中普通最小二乘法与多项式回归的使用对比
二、Logistic Regression 逻辑回归
1.简述
2.数学公式
3.函数及其部分参数及返回值说明
4.示例
三、Polynomial Regression 多项式回归
1.简述
2.数学公式
3.函数及其部分参数及返回值说明
4.示例
1)scipy中的多项式回归
机器学习:形如抛物线的散点图在python和R中的非线性回归拟合方法
2)sklearn中的多项式回归
机器学习:scipy和sklearn中普通最小二乘法与多项式回归的使用对比
四、Stepwise Regression 逐步回归
1.简述
2.数学公式
3.函数及其部分参数及返回值说明
4.示例
五、Ridge Regression 岭回归
1.简述
2.数学公式
3.函数及其部分参数及返回值说明
4.示例
六、Lasso Regression 套索回归
1.简述
2.数学公式
3.函数及其部分参数及返回值说明
4.示例
七、ElasticNet回归
1.简述
2.数学公式
3.函数及其部分参数及返回值说明
4.示例