信息熵

设 $X$ 是取有限个值的随机变量， $X\in\{x_1,x_2,\cdots,x_n\},\ i=1,2,\cdots,n$ ，则随机变量 $X$ 的熵定义为：

$H(X)=-\sum_{i=1}^n P(X=x_i)\log_aP(X=x_i)$
$H(X)$ 作为 $X$ 对应的随机场的不确定性的度量，代表了 $X$ 所包含的信息量，也就是各个基本事件 $\{X=x_i\}$ 的平均信息量。

与热力学中的熵不同，信息熵只能降低，不确定性被消除的过程不能逆向进行。

设 $X\in\{x_1,x_2,\cdots,x_n\},\ i=1,2,\cdots,n,\ Y\in\{y_1,y_2,\cdots,y_m\},\ j=1,2,\cdots,m$ ，已知 $X$ 条件下 $Y$ 的条件熵为：

$H(Y|X)=\sum_{i=1}^nP(X=x_i)H(Y|X=x_i)=-\sum_{i=1}^n\bigg(P(X=x_i)\sum_{j=1}^mP(y_j|x_i)\log P(y_j|x_i)\bigg)$

最大熵模型

如果已知所有信息（熵小）就不需要模型去预测了。在所有可能的模型（就是概率分布）中，熵最大的模型是最好的模型，正如我们会想要模型能够识别各种龙飞凤舞而不是只能识别特定字体的文字，能够从各种阴阳怪气而不是简单固定的文本提取有用的信息。模型的输出永远是确定的，要求模型能处理熵大的 $X$ ，用最少的信息（不确定性大，熵大）得到确定的结果。

对于训练数据 $\{(x_i,y_i),\ i=1,2,\cdots,n\}$ ， $y$ 是标签。经验分布 $\tilde{P}(x)=\frac{1}{n}\sum_{i=1}^n\bold{1}(X_i=x)$ ，即 $n$ 次实验中 $x$ 出现的次数占实验次数的比例。特征函数 $f(x,y)$ 描述形参 $x$ 、 $y$ 满足某个事实，其返回值为boolean类型，当形参满足事实时返回true否则返回false。那么：

$f(x,y)$ 基于 $\tilde{P}(x,y)$ 的期望 $\mathbb{E}_{\tilde{P}}(f)=\tilde{P}(x,y)f(x,y)$ ，也就是预测分布；
$f(x,y)$ 基于 $P(Y|X)$ 的期望 $\mathbb{E}_P(f)=\tilde{P}(x)P(y|x)f(x,y)$ ，真实分布。

训练过程

最大熵模型试图求 $P^*=\max_PH(P)$ ，其中：

H (P) = - \sum_{i = 1}^{n} \tilde{P} (x_{i}) P (y_{i} | x_{i}) \log P (y_{i} | x_{i})

$H(P)=-\sum_{i=1}^n\tilde{P}(x_i)P(y_i|x_i)\log P(y_i|x_i)$

但是想要计算熵，我们虽然需要 $\tilde{P}(x)P(y|x)$ 的值，但通过训练模型时计算的是 $\tilde{P}(x,y)$ ，每次选取一对 $(x,y)$ 只能得到 $x$ 和 $y$ 同时发生时的经验概率而不能 $x$ 发生时 $y$ 的概率。而且标签集合 $y$ 一定要包含 $x$ 的所有可能的类别，即 $\sum_yP(y|x)=1$ 。训练过程等价于条件极值问题：

P^{*} = max_{P} (- \sum_{i = 1}^{n} \tilde{P} (x_{i}) P (y_{i} | x_{i}) \log P (y_{i} | x_{i})) s.t. E_{P} (f_{i}) = E_{\tilde{P}} (f_{i}), \sum_{y} P (y | x) = 1

$P^*=\max_P\Big(-\sum_{i=1}^n\tilde{P}(x_i)P(y_i|x_i)\log P(y_i|x_i)\Big)\\\text{s.t.}\ \mathbb{E}_P(f_i)=\mathbb{E}_{\tilde{P}}(f_i),\ \sum_yP(y|x)=1$

为将条件极值问题转化成无条件极值问题，定义拉格朗日函数：

L (P, θ) = - H (P) + θ_{0} (1 - \sum_{y} P (y | x)) + \sum_{i = 1}^{n} θ_{i} (E_{\tilde{P}} (f_{i}) - E_{P} (f_{i}))

$L(P,\bm{\theta})=-H(P)+\theta_0\Big(1-\sum_yP(y|x)\Big)+\sum_{i=1}^n\theta_i\Big(\mathbb{E}_{\tilde{P}}(f_i)-\mathbb{E}_P(f_i)\Big)$

\frac{\partial L (P, θ)}{\partial P (y | x)} = \sum_{(x, y)} \tilde{P} (x) (\log P (y | x) + 1 - θ_{0} - \sum_{i = 1}^{n} θ_{i} f_{i} (x, y)) = 0

$\frac{\partial L(P,\bm\theta)}{\partial P(y|x)}=\sum_{(x,y)}\tilde{P}(x)\Big(\log P(y|x)+1-\theta_0-\sum_{i=1}^n\theta_if_i(x,y)\Big)=0$

原始优化问题 $\min_{P\in\mathcal{P}}\max_{\bm{\theta}}L(P,\bm{\theta})$ 的对偶问题为 $\max_{\bm{\theta}}\min_{P\in\mathcal{P}}L(P,\bm{\theta})$ ，令 $\frac{\partial L(P,\bm\theta)}{\partial P(y|x)}=0$ 也就是 $L(P,\bm{\theta})$ 取到极小值 $P_{\bm\theta}(y|x)$ 时，得 $\log P(y|x)+1-\theta_0-\sum_{i=1}^n\theta_if_i(x,y)=0$ ，这时：

\sum_{y} P (y | x) = e^{θ_{0} - 1} \sum_{y} e^{\sum_{i = 1}^{n} θ_{i} f_{i} (x, y)}

$\sum_yP(y|x)=e^{\theta_0-1}\sum_ye^{\sum_{i=1}^n\theta_if_i(x,y)}$

P_{θ} (y | x) = \frac{e^{θ_{0} - 1} e^{\sum_{i = 1}^{n} θ_{i} f_{i} (x, y)}}{e^{θ_{0} - 1} \sum_{y^{'}} e^{\sum_{i = 1}^{n} θ_{i} f_{i} (x, y^{'})}} = \frac{e^{\sum_{i = 1}^{n} θ_{i} f_{i} (x, y)}}{\sum_{y^{'}} e^{\sum_{i = 1}^{n} θ_{i} f_{i} (x, y^{'})}}

$P_{\bm\theta}(y|x)=\frac{e^{\theta_0-1}e^{\sum_{i=1}^n\theta_if_i(x,y)}}{e^{\theta_0-1}\sum_{y^\prime}e^{\sum_{i=1}^n\theta_if_i(x,y^\prime)}}=\frac{e^{\sum_{i=1}^n\theta_if_i(x,y)}}{\sum_{y^\prime}e^{\sum_{i=1}^n\theta_if_i(x,y^\prime)}}$

所以 $\bm{\theta}^*=\arg\max_{\bm\theta}P_{\bm\theta}(y|x)$ ，只留下分子指数部分，得到最大熵模型的最优参数 $\bm{\theta}^*=\arg\max_{\bm\theta}\sum_{i=1}^n\theta_if_i(x,y)$ 。