摘要： 1.The Language Modeling Problem 现在抛开我们之前讲的马尔科夫模型的假设，对于一门语言的定义，肯定不能简单依赖于每个单词的前两个单词，这是常识。比如英语中的动词形态就和主语有关。那么我会怎么考虑一个语言模型呢，很可能是下面这样一个情况： 我们之前讲的Trigram模型也可以用这样的形式来表示： 那么我们要用我们增加的一些定义，一种naive的方法就是选取一些参数来生成模型： 可以想象，这是很难驾驭的。但是我们可以用这样的模型来理论上地表示一些例子。 而下面要讲的Log-Liner Model就可以加入这些信息，... 阅读全文