广义线性模型

指数分布族

如果一类分布可以写成如下的形式，那么它就是属于指数分布族的：

P(y;η) = b(y)exp(η^TT(y) - a(η)) (1)

这里

Bernoulli分布

伯努利概率分布如下：

P(y;φ) = φ^y(1 - φ)^1-y = exp(ylog(φ) + (1 - y)log(1 - φ)) = exp(ylog(φ/(1-φ)) + log(1-φ)) (2)

(2)式对比(1)式，显然有

T(y) = y; η = log(φ/(1-φ)); a(η) = -log(1-φ) = 1/(1+exp(η)) // sigmoid

Gaussian分布

高斯概率分布如下：

则有：

由以上分析可知，伯努利和高斯分布都属于指数分布族。

广义线性模型

对于回归问题，如果满足以下三个条件，即可应用广义线性模型解决：

$y | x;θ \sim ExponentialFamily(\eta)$ y的条件概率属于指数分布族
给定x 广义线性模型的目标是求解 $T(y) | x$ ，不过由于很多情况下 $T(y) = y$ 所以我们的目标变成了 $y | x$ , 也即我们希望拟合函数为 $h(x) = E[y|x]$ ( 备注：这个条件在线性回归和逻辑回归中都满足，例如逻辑回归中 $hθ(x) = p(y = 1|x;\theta) = 0 \cdot p(y = 0|x; \theta) + 1 \cdot p(y = 1|x; \theta) = E[y|x;\theta])$ )
自然参数 $\eta$ 与 x是线性关系： $\eta = \theta ^T x$ ( $\eta$ 为向量时 $\eta_{i} = \theta_{i} ^T x$ )