自然语言处理学习笔记-lecture5-语言模型02

语言模型的自适应

问题：

在训练语言模型时所采用的语料往往来自多种不同的领域，这些综合性语料难以反映不同领域之间在语言使用规律上的差异，而语言模型恰恰对于训练文本的类型、主题和风格等都十分敏感;
n 元语言模型的独立性假设的前提是一个文本中的当前词出现的概率只与它前面相邻的 n-1 个词相关，但这种假设在很多情况下是明显不成立的。

基于缓存的语言模型 (Cache-based LM)

该方法针对的问题是:在文本中刚刚出现过的一些词在后边的句子中再次出现的可能性往往较大，比标准的 n-gram 模型预测的概率要大。针对这种现象， cache-based自适应方法的基本思路是:语言模型通过 n-gram 的线性插值求得:

\hat{p} (w_{i} | w_{1}^{i - 1}) = λ {\hat{p}}_{C a c h e} (w_{i} | w_{1}^{i - 1}) + (1 - λ) {\hat{p}}_{n - g r a m} (w_{i} | w_{i - n + 1}^{i - 1})

$\hat p(w_i|w_1^{i - 1}) = \lambda \hat p_{Cache}(w_i|w_1^{i - 1}) + (1 - \lambda)\hat p_{n-gram}(w_i|w_{i - n + 1}^{i - 1})$

插值系数 $\lambda$ 可以通过EM算法求得，通常的处理方法是:在缓存中保留前面的 K个单词，每个词的概率(缓存概率)用其在缓存中出现的相对频率计算得出:

{\hat{p}}_{C a c h e} (w_{i} | w_{1}^{i - 1}) = \frac{1}{K} \sum_{j = i - K}^{i - 1} I_{{w_{j} = w_{i}}}

$\hat p_{Cache}(w_i|w_1^{i - 1}) = \frac1K\sum_{j = i - K}^{i - 1}I_{\{w_j = w_i\}}$

其中 $I_\varepsilon$ 为指示器函数(indicator function)，如果 $\varepsilon$ 表示的情况出现，则 $I_\varepsilon = 1$ ，否则 $I_\varepsilon = 0$ 。这种方法的缺陷是，缓存中一个词的重要性独立于该词与当前词的距离。P. R.Clarkson等人(1997) 的研究表明，缓存中每个词对当前词的影响随着与该词距离的增大呈指数级衰减，因此，

{\hat{p}}_{C a c h e} (w_{i} | w_{1}^{i - 1}) = β \sum_{j = i}^{i - 1} I_{{w_{j} = w_{i}}} e^{- α (i - j)}

$\hat p_{Cache}(w_i|w_1^{i - 1}) = \beta\sum_{j = i}^{i - 1}I_{\{w_j = w_i\}}e^{-\alpha(i - j)}$

其中 $\alpha$ 为衰减率， $\beta$ 为归一化常数

基于混合方法的语言模型

该方法针对的问题是:由于大规模训练语料本身是异源的(heterogenous)，来自不同领域的语料无论在主题 (topic)方面,还是在风格(style)方面,或者两者都有一定的差异，而测试语料一般是同源的(homogeneous)，因此，为了获得最佳性能，语言模型必须适应各种不同类型的语料对其性能的影响。
处理方法是:将语言模型划分成 $n$ 个子模型 $M_1, M_2, \cdots, M_n$ ，整个语言模型的概率通过下面的线性插值公式计算得到:

\hat{p} (w_{i} | w_{1}^{i - 1}) = \sum_{j = 1}^{n} λ_{j} {\hat{p}}_{M_{j}} (w_{i} | w_{1}^{i - 1})

$\hat p(w_i|w_1^{i - 1}) = \sum_{j = 1}^n\lambda_j\hat p_{M_j}(w_i|w_1^{i - 1})$

其中 $0 \leq \lambda_j \leq 1,\sum_{j = 1}^n\lambda_j = 1,\lambda$ 值可以通过EM算法计算出来，方法总结如下：

对训练语料按来源、主题或类型等聚类(设为n类);
在模型运行时识别测试语料的主题或主题的集合;
确定适当的训练语料子集，并利用这些语料建立特定的语言模型;
利用针对各个语料子集的特定语言模型和线性插值获得整个语言模型。

EM迭代计算插值系数 $\lambda$

对于n个类，随机初始化插值系数 $\lambda$ ;
根据公式 $\hat p(w_i|w_1^{i - 1}) = \sum_{j = 1}^n\lambda_j\hat p_{M_j}(w_i|w_1^{i - 1})$ 计算新的概率和期望
第r 次迭代, 第 j 个语言模型在第i (i ≤n)类上的系数:

λ_{i j}^{r} = \frac{λ_{i j}^{r - 1} p_{i j} (w | h)}{\sum_{i = 1}^{n} λ_{i j}^{r - 1} p_{i j} (w | h)}

$\lambda_{ij}^r = \frac{\lambda_{ij}^{r - 1}p_{ij}(w|h)}{\sum_{i = 1}^{n}\lambda_{ij}^{r - 1}p_{ij}(w|h)}$

其中 $h$ 为历史

不断迭代，重复第2,3步直至收敛

基于最大熵的语言模型

基本思想:通过结合不同信息源的信息构建一个语言模型。每个信息源提供一组关于模型参数的约束条件，在所有满足约束的模型中，选择熵最大的模型。

语言模型应用举例

汉语分词问题

方法描述：设对于待切分的句子 $S = z_1z_2\cdots z_m,W = w_1w_2\cdots w_k,\hat W \approx \mathop{arg\ max}\limits_{W}p(W)$
汉语词汇分成如下几类:

分词词典中规定的词;
由词法规则派生出来的词或短语，如:干干净净、非党员、副部长、全面性、检查员、看不出、克服了、走出来、洗个澡 ...
与数字相关的实体，如:日期、时间、货币、百分数、温度、长度、面积、重量、电话号码、邮件地址等;
专用名词，如 :人名、地名、组织机构名

进一步约定，把一个可能的词序列 $W$ 转换成词类序列 $C = c_1c_2\cdots c_N$ ，即:

专有名词:人名PN、地名LN、机构名ON分别作为一类;
实体名词中的日期 dat、时间tim、百分数per、货币mon 等作为一类;
对词法派生词MW和词表词LW，每个词单独作为一类。

这样对于“3月14日下午3点比尔盖茨在北京发表讲话，决定从今年起微软亚洲研究院将大规模招收研发人员，其中，80%将从中国科学院大学所培养的应届博士或硕士毕业生中选拔，年薪不低于3万美元。”的分词序列变为类序列“dat/ tim/ PN/ 在/ LN/ 发表/ 讲话/ ，/ 决定/ 从/ tim/ 起/ ON/ 将/ 大/ 规模/ 招收/ 研发/ 人员/ ，/ 其中/ ，/ per/ 将/ 从/ 中国/ 科学院/ 大学/ 所/ 培养/ 的/ 应届/ 博士/ 或/ 硕士/ 毕业生/ 中/ 选拔/ ，/ 年薪/ 不/ 低于/ mon/ 。”
那么 $\hat C = \mathop{arg\ max}\limits_Cp(C|S) = \mathop{arg\ max}\limits_Cp(C)\times p(S|C)$ ，其中 $P(C)$ 语言模型，假设采用三元语法：

p (C) = p (c_{1}) \times p (c_{2} | c_{1}) \prod_{i = 3}^{N} p (c_{i} | c_{i - 2} c_{i - 1}) p (c_{i} | c_{i - 2} c_{i - 1}) = \frac{c o u n t (c_{i - 2} c_{i - 1} c_{i})}{c o u n t (c_{i - 2} c_{i - 1})}

$p(C) = p(c_1)\times p(c_2|c_1)\prod_{i = 3}^Np(c_i|c_{i - 2}c_{i - 1}) \\ p(c_i|c_{i - 2}c_{i - 1}) = \frac{count(c_{i - 2}c_{i - 1}c_i)}{count(c_{i - 2}c_{i - 1})}$

$P(S|C)$ 是生成模型，可近似为：

p (S | C) \approx \prod_{i = 1}^{N} p (s_{i} | c_{i})

$p(S|C) \approx \prod_{i = 1}^Np(s_i|c_i)$

也就是说词类 $c_i$ 生成汉字串 $s_i$ 的概率只和自身有关，和上下文无关
模型的训练由以下三步组成:
(1) 在词表和派生词表的基础上，用一个基本的分词工具切分训练语料，专有名词通过一个专门模块标注，实体名词通过相应的规则和有限状态自动机标注，由此产生一个带词类别标记的初始语料;
(2) 用带词类别标记的初始语料，采用最大似然估计方法估计语言模型的概率参数;
(3) 用得到的模型对训练语料重新切分和标注，得到新的训练语料;
(4) 重复(2)(3)步，直到系统的性能不再有明显的变化为止。

分词与词性标注一体化方法

假设句子 $S$ 是由单词串组成：

W = w_{1} w_{2} \dots w_{n}, n \geq 1

$W = w_1w_2\cdots w_n,n\geq 1$

单词 $w_i$ 的词性标注为 $t_i$ ，即句子 $S$ 相应的词性标注符号序列可表达为：

T = t_{1} t_{2} \dots t_{n}

$T = t_1t_2\cdots t_n$

那么，分词与词性标注的任务就是要在 $S$ 所对应的各种切分和标注形式中，寻找 $T$ 和 $W$ 的联合概率 $p(W, T)$ 为最优的词切分和标注组合。

基于词性的三元统计模型 :

p (W, T) = p (W | T) \times p (T) \approx \prod_{i = 1}^{n} p (w_{i} | t_{i}) \times p (t_{i} | t_{i - 1}, t_{t i - 2})

$p(W,T) = p(W|T)\times p(T)\approx \prod_{i = 1}^n p(w_i|t_i)\times p(t_i|t_{i - 1},t_{ti - 2})$

其中 $P(W|T)$ 称为生成模型， $p(w_i|t_i)$ 表示在整个标注语料中，在词性 $t_i$ 的条件下，单词 $w_i$ 出现的概率， $P(T)$ 为基于词性的语言模型，采用三元文法，当 $i = 1$ 时，取 $p(t_1)$ ,当 $i = 2$ 时，取 $p(t_2|t_1)$