摘要:
1. 引言:朴素贝叶斯的局限性 我们知道朴素贝叶斯的局限性来源于其条件独立假设,它将文本看成是词袋子模型,不考虑词语之间的顺序信息,就会把“武松打死了老虎”与“老虎打死了武松”认作是一个意思。那么有没有一种方法提高其对词语顺序的识别能力呢?有,就是这里要提到的N-gram语言模型。 2. N-gra 阅读全文
摘要:
用朴素贝叶斯完成语种检测 用朴素贝叶斯完成语种检测 用朴素贝叶斯完成语种检测 我们试试用朴素贝叶斯完成一个语种检测的分类器,说起来,用朴素贝叶斯完成这个任务,其实准确度还不错。 我们试试用朴素贝叶斯完成一个语种检测的分类器,说起来,用朴素贝叶斯完成这个任务,其实准确度还不错。 我们试试用朴素贝叶斯完 阅读全文
摘要:
朴素贝叶斯与应用 朴素贝叶斯与应用 朴素贝叶斯与应用 贝叶斯理论简单回顾 在我们有一大堆样本(包含特征和类别)的时候,我们非常容易通过统计得到 p(特征|类别)p(特征|类别). 大家又都很熟悉下述公式: p(x)p(y|x)=p(y)p(x|y)p(x)p(y|x)=p(y)p(x|y) 所以做一 阅读全文
摘要:
朴素贝叶斯 1. 引言 贝叶斯方法是一个历史悠久,有着坚实的理论基础的方法,同时处理很多问题时直接而又高效,很多高级自然语言处理模型也可以从它演化而来。因此,学习贝叶斯方法,是研究自然语言处理问题的一个非常好的切入口。 2. 贝叶斯公式 贝叶斯公式就一行: P(Y|X)=P(X|Y)P(Y)P(X) 阅读全文