广义线性模型(GLM)及其应用

广义线性模型[generalize linear model(GLM)]是线性模型的扩展,通过联系函数建立响应变量的数学期望值与线性组合的预测变量之间的关系。它的特点是不强行改变数据的自然度量,数据可以具有非线性和非恒定方差结构。是线性模型在研究响应值的非正态分布以及非线性模型简洁直接的线性转化时的一种发展

 

在广义线性模型的理论框架中,则假设目标变量Y则是服从指数分布族,正态分布和伯努利分布都属于指数分布族,因此线性回归和逻辑回归可以看作是广义线性模型的特例。

这是概率分布及其正则联系函数(Canonical Link function)的列表。

  • 正态分布:恒等函数
  • 泊松分布:对数函数
  • 二项分布:分对数函数

除此以外我们还可以自定义联系函数,如果不喜欢自己编写可以使用在 statsmodels 中实现了的各种联系函数,Stan、PyMC3 和 TensorFlow Probability 等概率编程框架也给我们提供了这些函数。

link function也被翻译为连接函数,这里觉得联系函数更为贴切所以还是翻译为联系函数

线性回归

线性回归用于通过解释变量 X 的线性组合来预测连续变量 y 的值。

在单变量情况下,线性回归可以表示如下

模型假定噪声项的正态分布。该模型说明如下

完整文章:

https://avoid.overfit.cn/post/eb42f5cb4a534dfa9844600acb1fc546

posted @ 2022-08-20 10:17  deephub  阅读(487)  评论(0编辑  收藏  举报