【机器学习】Softmax 回归
Softmax 回归
多项分布
目标值 \(y\) 取值只能为 \(\{1,2,\cdots,k\}\) 中的一个，设每个取值的概率为 \(\phi_1,\phi_2,\cdots,\phi_k\)，分布律为 \(p(y=k;\phi)=\phi_i\)，参数为：
\[\phi=
\left[\begin{matrix}
\phi_1 \\
\phi_2 \\
\vdots \\
\phi_k
\end{matrix}\right]
\]
由于 \(\sum_{i=1}^k\phi_i=1\)，所以 \(\phi_k=1-\sum_{i=1}^{k-1}\phi_i\)。
指示函数
我们称 \(l\{\cdot\}\) 为指示函数，括号内为一个逻辑判别式，指示函数的值就是判别式的真值。
例如：\(l\{1=1\}=True=1\)，\(l\{2=3\}=False=0\)。
使用 GLM 推导假设函数
\[\begin{aligned}
p(y;\phi)&=\prod_{i=1}^{k}\phi_i^{l\{y=i\}} \\
&=\prod_{i=1}^{k-1}\phi_i^{l\{y=i\}}\cdot\phi_k^{1-\sum_{j=1}^{k-1}l\{y=j\}} \\
&=\exp(l\{y=1\}\log(\phi_1)+l\{y=2\}\log(\phi_2)+\cdots+\left(1-\sum_{j=1}^{k-1}l\{y=j\}\right)\log(\phi_k)) \\
&=\exp(l\{y=1\}\log(\phi_1/\phi_k)+l\{y=2\}\log(\phi_2/\phi_k)+\cdots+\log(\phi_k)) \\
&=1\cdot\exp\left(
\left[\begin{matrix}
\log(\phi_1/\phi_k) \\
\log(\phi_2/\phi_k) \\
\vdots \\
\log(\phi_{k-1}/\phi_k)
\end{matrix}\right]^T
\left[\begin{matrix}
l\{y=1\} \\
l\{y=2\} \\
\vdots \\
l\{y=k-1\}
\end{matrix}\right]
+\log(\phi_k)
\right) \\
&=b(y)\exp\left(\eta^TT(y)-a(\eta)\right) \\
\\
\eta&=
\left[\begin{matrix}
\log(\phi_1/\phi_k) \\
\log(\phi_2/\phi_k) \\
\vdots \\
\log(\phi_{k-1}/\phi_k)
\end{matrix}\right] \\
T(y)&=
\left[\begin{matrix}
l\{y=1\} \\
l\{y=2\} \\
\vdots \\
l\{y=k-1\}
\end{matrix}\right] \\
a(\eta)&=-\log(\phi_k) \\
b(y)&=1 \\
\end{aligned}\]
由此可得：
\[\begin{aligned}
\eta_i&=\log\frac{\phi_i}{\phi_k} \\
\phi_ke^{\eta_i}&=\phi_i \\
\phi_k\sum_{i=1}^ke^{\eta_i}&=\sum_{i=1}^k\phi_k=1 \\
\phi_i&=\frac{e^{\eta_i}}{\sum_{j=1}^{k}e^{\eta_j}} \\
p(y=i\mid x;\theta)&=\phi_i \\
&=\frac{e^{\eta_i}}{\sum_{j=1}^{k}e^{\eta_j}} \\
&=\frac{e^{\theta_i^Tx}}{\sum_{j=1}^{k}e^{\theta_i^Tx}}
\end{aligned}\]
注意：在 GLM 中，我们的预测目标是T(y)，所以这里预测输出不直接是类别的编号 \(y\)，并且对每个类别，我们需要分别训练一个参数 \(\theta_i\)。
所以，假设函数为：
\[\begin{aligned}
h_\theta(x)&=E[T(y)\mid x;\theta] \\
&=E\left[
\begin{array}{c|}
l\{y=1\} \\
l\{y=2\} \\
\vdots \\
l\{y=k-1\}
\end{array}\quad
x;\theta
\right] \\
&= \left[
\begin{array}{c}
\phi_1 \\
\phi_2 \\
\vdots \\
\phi_{k-1}
\end{array}
\right] \\
&= \left[
\begin{array}{c}
\frac{\exp(\theta_1^Tx)}{\sum_{j=1}^{k}\exp(\theta_j^Tx)} \\
\frac{\exp(\theta_2^Tx)}{\sum_{j=1}^{k}\exp(\theta_j^Tx)} \\
\vdots \\
\frac{\exp(\theta_{k-1}^Tx)}{\sum_{j=1}^{k}\exp(\theta_j^Tx)} \\
\end{array}
\right]
\end{aligned}\]
似然函数的推导
假设总共m个样本：
\[\begin{aligned}
L(\theta)&=\prod_{i=1}^{m}p(y^{(i)}\mid x^{(i)};\theta) \\
\ell(\theta)&=\sum_{i=1}^{m}\log p(y^{(i)}\mid x^{(i)};\theta) \\
&=\sum_{i=1}^{m}\log\prod_{l=1}^{k}\left(\frac{e^{\theta_l^Tx^{(i)}}}{\sum_{j=1}^{k}e^{\theta_j^Tx^{(i)}}}\right)^{l\{y^{(i)}=l\}}
\end{aligned}\]
所以 Softmax 回归的最优化问题就是：
\[\begin{aligned}
\max\limits_{\theta}\ell(\theta)
\end{aligned}\]
