第三章 广义线性模型(GLM)
广义线性模型
前面我们举了回归和分类得到例子。在回归的例子中,$y \mid x;\theta \sim N(u,\sigma ^{2})$,在分类例子中,$y\mid x;\theta \sim Bbernoulli(\phi)$
广义线性模型是基于指数函数族的,指数函数族原型为:
$p(y;\eta) = b(y)exp(\eta^{T}T(y)-a(\eta))$
$\eta$为自然参数,$T(y)$为充分统计量,一般情况下$T(y)=y$。选择固定的T,a,b定义一个分布,参数为$\eta$。
对于伯努利分布(均值为$\phi$),有:
$p(y=1,\phi)=\phi;p(y=0;\phi)=1-\phi$
$p(y;\phi) = \phi^{y}(1-\phi)^{1-y}$
$p(y;\phi) = exp(ylog\phi +(1-y)log(1-\phi))$
$p(y;\phi) = exp((log(\frac{\phi}{1-\phi}))y+log(1-\phi))$
因此有:
$T(y) = y$
$a(\eta) = -log(1-\phi)$
$a(\eta) = log(1+e^{\eta})$
$b(y)=1$
对于高斯分布,有:
$p(y;u) = \frac{1}{\sqrt{2\pi}}exp(-\frac{1}{2}(y-u)^{2})$
$p(y;u) = \frac{1}{\sqrt{2\pi}}exp(-\frac{1}{2}y^{2})\cdot exp(uy=\frac{1}{2}u^{2})$
因此有:
$\eta = u$
$T(y) = y $
$a(\eta) = \frac{u^{2}}{2} = \frac{\eta^{2}}{2}$
$b(y) = (\frac{1}{\sqrt{2\pi}})exp(-\frac{1}{2}y^{2})$
构造GLM
1. $y \mid x;\theta \sim ExponentialFamily(\eta)$
2. 给定x,我们的目标是预测T(y),大部分情况下T(y)=y,因此我们可以选择预测输出h(x),$h(x) =E\left [ y \mid x \right ]$
3. 自然参数$\eta$和输入x是线性相关的,$\eta = \theta^{T}x$
普通最小二乘法
普通最小二乘法是GLM模型的一种特例:y是连续的,给定x后的y的条件分布是高斯分布$N(u,\sigma^{2})$。因此令指数函数族的分布为高斯分布。正如前面,高斯分布U作为指数函数族时,$u=\eta$。因此有:
$h_{\theta}(x) = E\left [ y \mid x ; \theta \right ] = u = \eta =\theta^{T}x$
逻辑回归
逻辑回归中y只取0和1,因此使用伯努利分布作为指数函数族的分布,因此$\phi = \frac{1}{1+e^{-\eta}}$。进一步,由$y \mid x;\theta \sim Bernoulli(\phi)$,则$E\left [ y \mid x;\theta \right ] = \phi $,得到:
$h_{\theta}(x) = E\left [ y \mid x ; \theta \right ] $
$h_{\theta}(x) = \phi $
$h_{\theta}(x) = \frac{1}{1+e^{-\eta}}$
$h_{\theta}(x) = \frac{1}{1+e^{-\theta^{T}x}}$
softmax回归
在逻辑回归中,y离散取值只有两个,现在考虑当y取多个值的情况,$y\in {1,2,...,k}$。
为了参数化具有k个可能的输出的多项式,我们可以使用k个参数$\phi_{1},...,\phi_{2}$来表示每个输出的概率。但是这些参数是冗余的,因为这k个参数之和为1。所以我们只需要参数化k-1个变量:$\phi_{i} = p(y=i;\phi) ~~ p(y=k;\phi) = 1-\sum_{i=1}^{k-1}\phi_{i}$,为了方便,我们令$\phi_{k}= 1-\sum_{i=1}^{k-1}\phi_{i}$,但记住它并不是一个参数,而是由其它k-1个参数值决定。
为了使多项式为指数函数族分布,定义以下$T(y) \in R^{k-1}$:
$ T(1) =\begin{bmatrix} 1\\ 0\\ 0\\ \vdots \\0 \end{bmatrix}$
$ T(2) =\begin{bmatrix} 0\\ 1\\ 0\\ \vdots \\0 \end{bmatrix}$
$ T(k-1) =\begin{bmatrix} 0\\ 0\\ 0\\ \vdots \\1 \end{bmatrix}$
$ T(k) =\begin{bmatrix} 1\\ 0\\ 0\\ \vdots \\0 \end{bmatrix}$
跟前面不同的是,这里T(y)并不等于y,T(y) 在这里是一个k-1维向量,而不是一个实数。令$(T(y))_{i}$表示$T(y)$的第i个元素。
接着定义一个函数$1{\cdot}$,当参数为true时,函数值为1,反之为零。例如 1{2=3}=0.
因此,$(T(y))_{i}=1{y=i}$,进一步我们有$E[(T(y))_{i}]=P(y=i)=\phi_{i}$。
接下来说明该多项式也属于指数函数族:
$p(y;\phi) = \phi_{1}^{1\{y=1\}} \phi_{2}^{1\{y=2\}} \cdots \phi_{k}^{1\{y=k\}}$
$p(y;\phi) = \phi_{1}^{1\{y=1\}} \phi_{2}^{1\{y=2\}} \cdots \phi_{k}^{1-\sum_{i=1}^{k-1}(T(y))_{i}}$
$p(y;\phi) = \phi_{1}^{(T(y))_{1}} \phi_{2}^{(T(y))_{2}} \cdots \phi_{k}^{1-\sum_{i=1}^{k-1}(T(y))_{i}}$
$p(y;\phi) = exp((T(y))_{1}log(\phi_{1}) + (T(y))_{2}log(\phi_{2}) + \cdots + (1-\sum_{i=1}^{k-1}(T(y))_{i})log(\phi_{k}))$
$p(y;\phi) =exp((T(y))_{1}log(\phi_{1}/\phi_{k})+ (T(y))_{2}log(\phi_{2}/\phi_{k})+\cdots+(T(y))_{k-1}log(\phi_{k-1}/\phi_{k})+log(\phi_{k}))$
$p(y;\phi) = b(y)exp( \eta^{T}T(y)-a(\eta))$
其中:
$ \eta =\begin{bmatrix} log(\phi_{1}/\phi_{k})\\ log(\phi_{2}/\phi_{k})\\ \vdots \\log(\phi_{k-1}/\phi_{k}) \end{bmatrix}$
$a(\eta)=-log(\eta_{k})$
$b(y)=1$
因此有以下函数关系式:
$\eta_{i}= \frac{\phi_{i}}{\phi_{k}}$
为了方便,我们定义:
$\eta_{k} = 0$
因此我们得到以下关系式:
$e^{\eta_{i}}= \frac{\phi_{i}}{\phi_{k}}$
$\phi_{k}e^{\eta_{i}} = \phi_{i}$
$\phi_{k}\sum_{i=1}{k}e^{\eta_{i}}=1$
因此我们得到以下响应函数:
$\phi_{i}= \frac{e^{\eta_{i}}}{\sum_{j=1}^{k}e^{\eta_{j}}}$
这种$\eta$到$\phi$的映射函数称为softmax函数。
令$\eta_{i}=\theta_{i}^{T}x ~~(i=1,2,...,k-1),\theta_{1},...,\theta_{k-1}\in R^{n+1}$
因此有以下条件分布:
$p(y=1 \mid x;\theta) = \phi_{i}$
$p(y=1 \mid x;\theta) = \frac{e^{\eta_{i}}}{\sum_{j=1}^{k}e^{\eta_{j}}}$
$p(y=1 \mid x;\theta) = \frac{e^{\theta_{i}^{T}x}}{\sum_{j=1}^{k}e^{\theta_{j}^{T}x}}$
损失函数:
最大似然估计: