从 回归(简述) 到 广义线性模型

本文记住这句话就够了：

把线性回归 y=wx 加上一个连接函数 f(wx) 就可以转化成各种回归

 

线性回归

我们知道，线性回归需要满足几个非常重要的假设

1. 正态性：残差符合正态分布

2. 方差齐性：Y的方差相等，确切地说是 残差 的方差变化不大

 

为什么呢？

Y=β0+β1x1+β2x2+…+βp−1xp−1+ϵ

ϵ 叫做残差(y_predict - y_true)，ϵ 来自于数据噪声，噪声是一定存在且无法预测的

若 ϵ 需服从正态分布，则

Y1=β0+β1x1+β2x2+…+βp−1xp−1+ϵ1　　# 样本1
Y2=β0+β1x1+β2x2+…+βp−1xp−1+ϵ2　　# 样本2
Y3=β0+β1x1+β2x2+…+βp−1xp−1+ϵ3 　 # 样本3

# 两边求期望 
E[Y]=β0+β1x1+β2x2+…+βp−1xp−1

回归其实预测的是 Y  的均值，Y1代表单个样本，单个样本必然存在误差，多个样本会把这个误差消除掉 

 

实际上线性回归存在一个连接函数 link function

E[Y]=f(β0+β1x1+β2x2+…+βp−1xp−1)=β0+β1x1+β2x2+…+βp−1xp−1，即

f(y)=y=wx，也就是预测的 y(=wx) 就是我们需要的 y

 

逻辑回归

逻辑回归的连接函数为 sigmoid

也就是预测的 y(=wx) 需要做 sigmoid 转换才是我们需要的 y；

其实 sigmoid 就是转换成 伯努利分布，即 0 还是 1；

伯努利分布就是 一种 指数族分布； 

 

指数族分布

指数族分布是一个大家族

 

广义线性模型

把连接函数推广到所有指数族分布就是广义线性模型 

 

总结

1. 除了线性回归，广义线性模型的本质是非线性模型，但也都可以叫 XX线性回归，因为他们只是对 wx 做了非线性转换

2. 连接函数 link function 起到了 连接 线性模型 wx 和 真实值 的作用

 

时间有限，有空再完善吧... 

 

参考资料：

https://mp.weixin.qq.com/s/uHRqe9onGA3vnSKVWRSHow　　线性回归基本教程

https://cosx.org/2011/01/how-does-glm-generalize-lm-assumption　　从线性模型到广义线性模型（1）——模型假设篇

https://blog.csdn.net/a493823882/article/details/81477235　　广义线性模型(Generalized Linear Model)——机器学习

https://zhuanlan.zhihu.com/p/22876460　　广义线性模型（Generalized Linear Model）

https://www.cnblogs.com/czdbest/p/5769326.html　　广义线性模型(Generalized Linear Models)