King_K

导航

2014年6月26日 #

第四章谈谈中文分词

摘要: 1.中文分词的演变由于中文等语言,字与字之间是没有空格隔开的,所以需要分词。最简单的分词就是查字典。就是从左到右或者从右到左扫描一句话,然后找到最长的匹配。这种方法可以解决七八成的分词问题。但是毕竟太简单了一点。后来哈工大王晓龙博士把查字典方法理论化,发展成最少词数的分词理论,即一句话应该分成数量最... 阅读全文

posted @ 2014-06-26 21:08 King_K 阅读(256) 评论(0) 推荐(0) 编辑

第二章:自然语言处理———从规则到统计

摘要: 任何语言,都可以被认为是一种编码方式,而语言的语法规则是编码解码的算法。我们把我们要表达的意思,通过一句话(一种编码)传送出去,听到这句话的人(接到编码信息),理解这句话(解码),从而理解对方要表达的意思。这是一个比较有趣又生动的过程。自然语言处理可以说是从1950年开始的,至今有60多年的历史。但... 阅读全文

posted @ 2014-06-26 20:54 King_K 阅读(652) 评论(0) 推荐(0) 编辑