统计语言模型

1.一句话真正意思的概率P(S)=P(W1,W2,...,Wn)

     根据条件概率变形：

         P(W1,W2,...,Wn)=P(W1)P(W2|W1)...P(Wn|W1,W2,...,Wn-1)——统计语言原始模型

          

     假设一个词出现的概率只跟上一个词有关（马尔科夫假设），则原始模型变形为

          P(S)=P(W1)P(W2|W1)...P(Wn|Wn-1)——统计语言模型的二元模型

          可以通过#(wn,wn-1)/#(wn)来计算P(wn|wn-1)，其中#(wn,wn-1)表示两者同时出现的次数

 

     一般的，一个词出现的概率与前N个词有关

          即P(wi|w1,w2,..,wi-1)=P(wi|wi-N+1,w2,...wi-1)

          得出统计语言的N元模型：一般用3元模型，google用的是4

 

2.规避词出现的概率为0的平滑过渡方法

     模型应用中会出现#(wn,wn-1)=0的情况，其规避思路如下：

          对于没有看见的事件，我们不能认为其发生的概率为0，因此我们可以从概率的总量中，分配一个很小的比例给这些看不见的时间

          预料库的总词数为N，出现r次的单词有Nr个，则

               则r次的词在整个词料库中的相对频度为r/N

          当r较小时，其统计可能不可靠，因此出现r次词的概率应该用更小一点的次数dr=(r+1)*Nr+1/Nr，而显然.

          一般来说，出现一次的词的数量比出现两次的词多，两次的比三次的词多，这种规律称为Zipf定律，

 

          实际中，当频率超过阀值的词，他们的概率估计就是其在语料库中的相对频度，而小于此频率的词，其概率估计就小于他们的相对频度，因为根据大数定律，出现次数越高的词，它的相对频度越接近概率分布

           

 

3.预料的选取问题：

     如果训练预料和模型应用的领域脱节，模型的效果会大打折扣

     对于模式的、量大的嗓音，在训练集中必须进行过滤