【机器学习】广义线性模型 GLM

广义线性模型 GLM

GLM 是什么

GLM 是一种模型，或者说是建模方法，使用 GLM，可以让把现实中的问题转化为机器学习需要的形式，也就是确定自己需要的假设函数 $h_{\theta }(x)$，从而推出所需的最优化目标。需要注意的是，GLM只能对那些服从指数分布族的问题建模。

什么是指数分布族 The exponential family

指数分布族是指一类特殊的概率分布，这些分布都可以被写成

$$p(y;n)=b(y)exp({\eta }^{T}T(y)-a(\eta ))$$

的形式。

许多常见的分布都属于指数分布族，也就是说，他们可以改写成上面这种形式。

比如，伯努利分布 $Y\sim Bernoulli(\varphi )$：

$$\begin{array}{rl}p(y;\varphi )& ={\varphi }^y(1-\varphi {)}^{1-y}\\ & =\exp (y\log (\varphi )+(1-y)\log (1-\varphi ))\\ & =\exp ((\log \left(\frac{\varphi }{1-\varphi }\right))y+\log (1-\varphi ))\end{array}$$

其中，

$$\begin{array}{rl}T(y)& =y\\ \eta & =\log \left(\frac{\varphi }{1-\varphi }\right)\\ a(\eta )& =-\log (1-\varphi )\\ & =\log (1+e^{\eta })\\ b(y)& =1\end{array}$$

如何使用 GLM 构建模型

GLM 模型的核心其实就是三个假设：

1. $y\mid x;\theta \sim \mathrm{ExpotentialFamily}(\eta )$
2. 给定 $x$（也就是特征），我们预测的目标是 $T(y)$ 的期望，通常情况下有 $T(y)=y$，所以我们的假设函数就是 $h(x)=\mathrm{E}[y\mid x]$。
3. 参数 $\eta$ 和输入 $x$ 是线性关系：$\eta ={\theta }^{T}x$

举例

线性回归的推导

如果给定 $x$ 的情况下，$Y\sim \mathcal{N}(\mu ,{\sigma }^2)$：

$$\begin{array}{rl}p(y;\mu )& =\frac{1}{\sqrt{2\pi }}\exp (-\frac{1}{2}(y-\mu {)}^2)\\ & =\frac{1}{\sqrt{2\pi }}\exp (-\frac{1}{2}{y}^2)\cdot \exp (\mu y-\frac{1}{2}{\mu }^2)\\ \\ \eta & =\mu \\ T(y)& =y\\ a(\eta )& ={\mu }^2/2\\ & ={\eta }^2/2\\ b(y)& =(1/\sqrt{2\pi })\exp (-y^2/2)\end{array}$$

所以假设函数为：

$$\begin{array}{rl}{h}_{\theta }(x)& =E[y\mid x;\theta ]\\ & =\mu \\ & =\eta \\ & ={\theta }^{T}x\end{array}$$

正好是线性回归的假设函数。

逻辑回归的推导

如果给定 $x$ 的情况下，$Y\sim Bernoulli(\varphi )$：

从上面的推导可得：

$$\begin{array}{rl}\eta & =\log \left(\frac{\varphi }{1-\varphi }\right)\\ \varphi & =\frac{1}{1-e^{-\eta }}\end{array}$$

从而，假设函数为：

$$\begin{array}{rl}{h}_{\theta }(x)& =\mathrm{E}[y\mid x;\theta ]\\ & =\varphi \\ & =1/(1+e^{-\eta })\\ & =1/(1+e^{-{\theta }^{T}x})\end{array}$$

正好就是 Logistic 回归的形式！