广义线性模型(GLM, Generalized Linear Model)
引言：通过高斯模型得到最小二乘法(线性回归)，即：
通过伯努利模型得到逻辑回归，即：
这些模型都可以通过广义线性模型得到。广义线性模型是把自变量的线性预测函数当作因变量的估计值。在机器学习中，有很多模型都是基于广义线性模型的，比如传统的线性回归模型，最大熵模型，Logistic回归，softmax回归，等等。今天主要来学习如何来针对某类型的分布建立相应的广义线性模型。
- 广义线性模型
广义线性模型：广义线性模型是基于指数分布族(Exponential Family)，而指数分布族的原型如下：
其中，η是自然参数(Natural Parameter)，T(y)为充分统计量(Sufficient Statistic)，通常T(y)=y。
实际上，许多分布(如，高斯分布、指数分布、泊松分布、伽马分布灯)都属于指数分布族。所以，线性回归、逻辑回归等都是广义线性模型的特例，实际上，性分布中，y服从高斯分布那么广义线性模型为线性回归，y服从伯努利分布为逻辑回归。
在使用广义线性模型构建其他模型之前，首先有三个假设：
(1) y|x; θ~ExpFamily；
(2) 给定x，目标是输出期望E[T(y)|x]，得到h(x)= E[T(y)|x]；
(3) η与x的关系是线性的，即：
- 常见概率模型由广义线性模型的推导
(1) 高斯模型
高斯分布可以表示为：
高斯模型的自然参数与均值成线性分布，所以
(2) 伯努利模型
伯努利模型可以表示为：
其中，b(y)=1。
从而得到逻辑回归模型。带入a(η)可以得到：
