中文词性标注与viterbi算法
摘要:
示例代码下载:http://files.cnblogs.com/bottlebox/HmmPos.zip一、viterbi算法原理及适用情况 当事件之间具有关联性时,可以通过统计两个以上相关事件同时出现的概率,来确定事件的可能状态。以中文的词性标注为例。中文中,每个词会有多种词性(比如"希望"即是名字又是动词),给出一个句子后,我们需要给这个句子的每个词确定一个唯一的词性,实际上也就是在若干词性组合中选择一个合适的组合。动词、名词等词类的搭配是具有规律性的,比如动词+名词的形式是大量存在的,当我们看到句子"存在希望",如果确定了"存在" 阅读全文
posted @ 2011-11-21 00:31 bottlebox 阅读(4602) 评论(0) 推荐(1) 编辑