指数族和广义线性模型推导

指数族和广义线性模型推导

线性回归和逻辑回归

在推导指数族相关内容前，先关注最普通的线性回归和逻辑回归。

之前我们默认了损失函数定义为平方误差，即如下损失函数（$x^i$ 默认在最后一维补充常数 $1$ 以实现偏差）：

$$L(\theta )=\frac{1}{2}\sum _{i=1}^m(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2$$

其计算结果（预测值）是 ${\hat{y}}^{(i)}={\theta }^T{x}^{(i)}$。

而逻辑回归，我们默认采用 Sigmoid 函数 $g(z)=\frac{1}{1+e^{-z}}\in (0,1)$，我们的目标是最大化似然函数，并用梯度下降最大化对数似然估计：

$$\begin{array}{rl}L(\theta )& =\sum _{i=1}^m(g({\theta }^T{x}^{(i)}){)}^{y^{(i)}}(1-g({\theta }^T{x}^{(i)}){)}^{1-y^{(i)}}\\ l(\theta )& =\ln L(\theta )=\sum _{i=1}^m{y}^{(i)}\ln g({\theta }^T{x}^{(i)})+(1-y^i)\ln (1-g({\theta }^T{x}^{(i)}))\end{array}$$

逻辑回归的预测值是 ${\hat{y}}^{(i)}=\mathrm{round}(g({\theta }^T{x}^{(i)}))$。

接下来通过对指数族以及广义线性模型的分析，指出线性回归和逻辑回归都是其中的特例。

指数族以及经典分布

指数族是一类随机分布，其概率密度为 $P(y;\eta )=b(y)\exp ({\eta }^{T}T(y)-a(\eta ))$。需要指出的是，绝大多数情况（比如以下的三个例子）下，$T(y)=y$。因此，我们只需要确定在不同分布下，$b(y),a(\eta )$ 的取值。

伯努利分布

随机变量 $y$ 只取 $0,1$，$y\sim B(\varphi )$ 即 $P(y=1)=\varphi ,P(y=0)=1-\varphi$。我们可以统一写作：

$$P(y;\varphi )={\varphi }^y(1-\varphi {)}^{1-y}$$

接下来整理形式说明伯努利分布属于指数族：

$$\begin{array}{rl}P(y;\varphi )& =\exp (y\ln \varphi +(1-y)\ln (1-\varphi ))\\ & =\exp (\ln \frac{\varphi }{1-\varphi }y+\ln (1-\varphi ))\end{array}$$

我们可以取：

$$b(y)=1,\eta =\ln \frac{\varphi }{1-\varphi },a(\eta )=-\ln (1-\varphi )$$

其中 $\varphi =\frac{1}{1+e^{-\eta }},a(\eta )=ln(1+e^{\eta })$。

高斯分布

随机变量 $y$ 取实数，$P(y;\mu )=\frac{1}{\sqrt{2\pi }}\exp (-\frac{(y-\mu {)}^2}{2})$。同样地整理形式：

$$\begin{array}{rl}P(y;\mu )& =\frac{1}{\sqrt{2\pi }}\exp (-\frac{1}{2}{y}^2+\mu y-\frac{1}{2}{\mu }^2)\\ & =\frac{1}{\sqrt{2\pi }{e}^{-\frac{y^2}{2}}}\exp (\mu y-\frac{1}{2}{\mu }^2)\end{array}$$

取 $b(y)=\frac{1}{\sqrt{2\pi }{e}^{-\frac{y^2}{2}}}$，$\eta =\mu$，$a(\eta )=\frac{1}{2}{\mu }^2=\frac{1}{2}{\eta }^2$。

泊松分布

随机变量 $y$ 取自然数，$P(y;\lambda )=\frac{e^{-\lambda }{\lambda }^y}{y!}$。

$$\begin{array}{rl}P(y;\lambda )& =\frac{1}{y!}\exp (\ln \lambda y-\lambda )\end{array}$$

取 $b(y)=\frac{1}{y!}$，$\eta =\ln \lambda$，$a(\eta )=\lambda =e^{\eta }$。

指数族的性质

不加证明地指出：

• 期望 $E(y;\eta )=\frac{\mathrm{d}}{\mathrm{d}\eta }a(\eta )$；
• 方差 $V(y;\eta )=\frac{{\mathrm{d}}^2}{{\mathrm{d}}^2\eta }a(\eta )$。

广义线性模型

根据预测值的类型，我们可以选择分布：

• 如果是 01 分类，则采用伯努利分布；
• 如果是连续实数，则采用高斯分布（实际上大多数情况都可以用高斯分布近似处理，尽管无法证明其遵从高斯分布）；
• 如果是正整数，如事件发生次数，则采用泊松分布。

广义线性模型的方法是：无论确定何种指数族分布，总是预测 $\eta ={\theta }^{T}x$，并且采用最大似然估计来取得最合适的预测。设数据集为 $\{(x^{(i)},y^{(i)}){\}}_{i=1}^m$，则似然函数为：

$$L(\theta )=\sum _{i=1}^{m}P(y^{(i)};{\theta }^T{x}^{(i)})$$

而我们的预测值是分布的期望 $E(y;\eta )=\frac{\mathrm{d}}{\mathrm{d}\eta }a(\eta )$，这也是一种比较自然的选择。

回顾线性回归

线性回归针对连续实数，因此关注高斯分布。直接取对数似然函数（将一些与 $\theta$ 无关的式子记为常数 $C$）：

$$\begin{array}{rl}\ln L(\theta )& =\sum _{i=1}^{m}C+{(-\frac{(y^{(i)}-{\theta }^T{x}^{(i)}{)}^2}{2})}^2\\ & =C-\frac{1}{2}\sum _{i=1}^m(y-{\theta }^T{x}^{(i)}{)}^2\end{array}$$

最大化上式则需最小化平方误差。也即，平方误差的本质是最大对数似然。

同时，高斯分布的均值为 $\mu =\eta ={\theta }^{T}x$，作为预测值，也不是随意指定的。当然也可以严格地对 $a(\eta )$ 求导得到 $E(y)=\mu$。

回顾逻辑回归

现在我们知道逻辑回归实际上是在做伯努利分布的最大似然估计。那么为什么采用 sigmoid 函数为预测值？按照广义线性回归，返回值为期望，即 $\varphi$。

而根据刚才的推导 $\varphi =\frac{1}{1+e^{{\theta }^{T}x}}$，也即 sigmoid 函数。