广义线性模型

从线性回归，logistic回归，softmax回归，最大熵的概率解释来看，我们会发现线性回归是基于高斯分布+最大似然估计的结果，logistic回归是伯努利分布+对数最大似然估计的结果，softmax回归是多项分布+对数最大似然估计的结果，最大熵是基于期望+对数似然估计的结果。前三者可以从广义线性模型角度来看。

广义线性模型

广义线性模型建立在三个定义的基础上，分别为：
定义线性预测算子

$$η = θ^T x$$

定义y的估计值

$$h(x,θ)=E(y|x,θ)$$

定义 y 的估值概率分布属于某种指数分布族：

$$Pr(y|x,θ)=b(y) \exp(η^T T(y)−a(η))$$

接下来详细解释各个定义

指数分布家族

指数分布家族是指可以表示为指数形式的概率分布，指数分布的形式如下：

$$p(y;η)=b(y) exp(η^T T(y)−a(η))$$

其中:

1. $η$被称为自然参数(natural parameters)
2. T(y)称为充分统计量,通常$T(y) = y$
3. $a(η)$称为对数分割函数（log partition function）；
4. $e^{-a(η)}$本质上是一个归一化常数，确保$p(y;η)$概率和为1。

当$T(y)$被固定时，$a(η)$、$b(y)$就定义了一个以$η$为参数的一个指数分布。我们变化$η$就得到这个分布的不同分布。
为什么要把$ y $的条件分布定义为这么奇怪的指数分布族？这是因为，在这样的定义下，我们可以证明：$p(y|η)$ 的期望值满足：

$$E(y|η)=\frac{d}{dη}a(η)$$

$p(y|η)$的方差满足：

$$Var(y|η)=\frac{d^2}{dη^2}a(η)$$

如此简洁的期望和方差意味着：一旦待估计的$y$的概率分布写成了某种确定的指数分布族的形式（也就是给定了具体的 $a,b,T$），那么我们可以直接套用公式 $h(x,θ)=E(y|x,θ)=\frac{d}{dη}a(η)$ 构建回归模型。

实际上大多数的概率分布都属于指数分布家族，比如
1）伯努利分布 0-1问题
2）二项分布，多项分布 多取值 多次试验
3）泊松分布 计数过程
4）伽马分布与指数分布
5）$\beta$分布
6）Dirichlet分布
7）高斯分布
现在我们将高斯分布和伯努利分布用指数分布家族的形式表示：
Bernoulli分布的指数分布族形式：

$$p(y=1;\phi)=\phi;p(y=0;\phi)=1-\phi \\ \Longrightarrow \\ p(y;\phi)=\phi ^ y (1-\phi) ^ {1-y} \\ = \exp(y log \phi + (1-y)log(1-\phi)) \\ = \exp((\log(\frac{\phi}{1-\phi}))y+\log(1-\phi))$$

即：在如下参数下 广义线性模型是 Bernoulli 分布

$$η=\log(\phi/(1-\phi)) \Longrightarrow \phi=1/(1+e^{-η}) \\ T(y) = y \\ a(η)=-log(1-\phi)=log(1+e^η) \\ b(y)=1$$

Gaussian 分布的指数分布族形式：
在线性回归中，$\sigma$对于模型参数$\theta$的选择没有影响，为了推导方便我们将其设为1：

$$p(y;\mu)=\frac{1}{\sqrt{2 \pi}} \exp(-\frac{1}{2} (y-\mu)^2) \\ = \frac{1}{\sqrt{2 \pi}} \exp(-\frac{1}{2} y^2) \cdot \exp(\mu y-\frac{1}{2} \mu ^ 2)$$

得到对应的参数：

$$η=\mu \\ T(y) = y \\ a(η)= \mu^2/2 = η^2/2 \\ b(y)=\frac{1}{\sqrt{2 \pi}} \exp(-\frac{1}{2} y^2)$$

用广义线性模型进行建模

想用 广义线性模型对一般问题进行建模首先需要明确几个 假设：

1.$y|x;\theta ∼ ExponentialFamily(η)$的条件概率属于指数分布族
2.给定x 广义线性模型的目标是 求解 T(y)|x ， 不过由于 很多情况下$T(y)=y$所以我们的目标变成了$y|x$ , 也即 我们希望拟合函数为$h(x)=E[y|x]$
(NOTE： 这个条件在 线性回归 和 逻辑回归中都满足， 例如 逻辑回归中$h_\theta(x)=p(y=1|x;\theta)$)
3.自然参数$η$与 $x$是线性关系 ： $η=\theta^T x$ ($η$为向量时,$η_i=\theta_i^T x$ )

有了如上假设 就可以进行建模和求解了：
广义线性模型 推导出 线性回归：
step1: $p(y|x;theta) ∼ N(\mu,\theta)$

step2: 由假设2$h(x)=E[y|x]$得到：

$$h(x)=E[y|x] \\ =\mu \\ =η \\ =\theta^T x$$

广义线性模型 推导出 逻辑回归：
step1: $p(y|x;theta) ∼ Bernoulli(\phi)$

step2: 由假设2$h(x)=E[y|x]$得到：

$$h(x)=E[y|x] \\ =\phi \\ =\frac{1}{1+e^{-η}} \\ =\frac{1}{1+e^{-\theta^T x}} \\ $$