摘要:
自然语言是指人类使用的语言,而自然语言处理(natural language processing)就是利用计算机为工具对人类特有的书面形式和口头形式的自然语言的信息进行各种类型处理和加工的技术(冯志伟《自然语言的计算机处理》)。但如何让计算机实现人们希望的语言处理功能,如何让计算机实现海量语言信息的自动处理和有效利用,这些一直是现在研究的热点问题,常见的如机器翻译、自动文摘等,由于中国的文字博大精深,实现的难度可想而知。 而分词可以说是自然语言处理里面的一个部分,其应用领域十分广泛,研究的意义也是很显著的,最常见如大家每天都在用的搜索引擎:搜索引擎将爬虫搜集到的网页分词,然后建立网页索引文. 阅读全文