斯坦福机器学习实现与分析之四（广义线性模型）

指数分布族

---

 　　首先需要提及下指数分布族，它是指一系列的分布，只要其概率密度函数可以写成下面这样的形式：

$\begin{aligned} p(y;\eta)=b(y)exp(\eta^TT(y)-a(\eta))\end{aligned}$

　　一般的很多分布（如高斯分布，泊松分布，二项式分布，伽马分布等）都属于指数分布族。该分布族有很多良好的特性，参见《Generalized Linear Models (2nd ed.)》一书3.3节。

 

广义线性模型构建假设

---

 　　广义线性模型主要基于以下假设：

　　　　1.$y|x;\theta$的分布属于指数分布族

　　　　2.预测值为$T(y)$，因此模型就是$E(T(y)|x)$

　　　　3.模型线性性，即$\eta=\theta^Tx$

 

线性回归与逻辑回归模型推导

---

 　　线性回归中，假设$y|x;\theta$服从高斯分布$N(\mu,\sigma^2)$，则将其写成指数分布族形式如下：

$\begin{aligned} p(y|x;\theta)&={\frac{1}{\sqrt{2\pi}\sigma}}exp(-\frac{(y-\mu)^2}{2\sigma^2})\\&={\frac{1}{\sqrt{2\pi}\sigma}}e^{-\frac{y}{2\sigma^2}}exp(\frac{{\mu}y}{\sigma^2}-\frac{\mu^2}{2\sigma^2}) \end{aligned}$

　　注意这里$\eta$和$T(y)$可以有多种取法满足上面这个式子，但根据上面假设的第二条，由于我们需要预测的是$y$，则$T(y)=y$，从而就有

$\begin{aligned} b(y)= {\frac{1}{\sqrt{2\pi}\sigma}}e^{-\frac{y}{2\sigma^2}}\end{aligned}$

$\begin{aligned} \eta =\frac{\mu}{\sigma^2}\end{aligned}$

$\begin{aligned} a(\eta)=\frac{\mu^2}{2\sigma^2}\end{aligned}$

 　　从而：

$\begin{aligned} h_\theta(x)=E(y|x;\theta)=\mu=\sigma^2\eta=\sigma^2\theta^Tx \end{aligned}$

　　这里$\begin{aligned}\sigma^2 \end{aligned}$是一个常数，则上式可写为：

$\begin{aligned} h_\theta(x)=\theta^{'T}x \end{aligned}$

　　此即为线性回归中使用的线性模型的来源。同理，对于逻辑回归，有

$\begin{aligned} p(y|x;\theta)&=\phi^y(1-\phi)^{1-y}\\&=exp(ylog{\phi}+(1-y)log{(1-\phi)})\\&=exp(log{\frac{\phi}{1-\phi}}+log(1-\phi)) \end{aligned}$

　　则

$\begin{aligned} T(y)=y \end{aligned}$

$\begin{aligned} b(y)= 1 \end{aligned}$

$\begin{aligned} \eta =log{\frac{\phi}{1-\phi}} \end{aligned}$

$\begin{aligned} a(\eta)=-log(1-\phi)\end{aligned}$

 　　由此可得：

$\begin{aligned} \phi=\frac{1}{1+e^{-\eta}} \end{aligned}$

　　故而有

$\begin{aligned} h_\theta(x)=E(y|x;\theta)=\phi=\frac{1}{1+e^{-\eta}}=\frac{1}{1+e^{-\theta^T{x}}} \end{aligned}$

　　此即为逻辑回归使用的模型。

　　同理，对于其他分布，我们也可以写出对应的回归模型。上面给出了线性回归和逻辑回归的模型，通过最大似然估计与梯度下降法，即可求出参数。

 

问题与思考

---

　　1.构建GLM的三条假设，其中假设一在此模型构建中起了什么作用，目前还未理解。假如分布不属于指数分布族，那是否也可以构建其他形式的线性模型？有理解的同学望不吝赐教。

　　2.假设三即是模型的线性假设，这也能说明了逻辑回归只能处理线性可分情况。