统计语言模型

 



 

统计语言模型就是用来算一句话出现的概率大小,换句话说就是像不像人说的话。这个概率的计算可以先将句子进行分词,然后用   各个词的(条件)概率  求和来计算。

统计语言模型的参数就是每个概率值,长度为T的词组构成的句子的参数个数就是 T个

由于词库中的词数N很大,一个由长度为T的词组构成的句子的复杂度不计重复大小为: N, 在此基础上计算T个参数,那么复杂度就是TNT

 

N-gram模型的复杂度为 Nn-1T,注意n的取值一般为3,而4,5计算量加大,提高并不明显

需要添加平滑机制

 



 

 

神经概率语言模型的参数为:W, p, U, q

 

 

 https://blog.csdn.net/itplus/article/details/37969979  word2vec详解!!!

posted @ 2019-03-08 15:32  慕云深  阅读(644)  评论(0编辑  收藏  举报