统计语言模型
统计语言模型就是用来算一句话出现的概率大小,换句话说就是像不像人说的话。这个概率的计算可以先将句子进行分词,然后用 各个词的(条件)概率 求和来计算。
统计语言模型的参数就是每个概率值,长度为T的词组构成的句子的参数个数就是 T个
由于词库中的词数N很大,一个由长度为T的词组构成的句子的复杂度不计重复大小为: NT , 在此基础上计算T个参数,那么复杂度就是TNT
N-gram模型的复杂度为 Nn-1T,注意n的取值一般为3,而4,5计算量加大,提高并不明显
需要添加平滑机制
神经概率语言模型的参数为:W, p, U, q
https://blog.csdn.net/itplus/article/details/37969979 word2vec详解!!!