2018年11月19日
【自然语言处理】分词方法汇总
摘要： 一、关于分词 原则： 颗粒度越大越好：用于进行语义分析的文本分词，要求分词结果的颗粒度越大，即单词的字数越多，所能表示的含义越确切，如：“公安局长”可以分为“公安 局长”、“公安局 长”、“公安局长”都算对，但是要用于语义分析，则“公安局长”的分词结果最好 切分结果中非词典词越少越好，单字字典词数越 阅读全文
posted @ 2018-11-19 15:42 zhaop 阅读(1460) 评论(0) 推荐(0) 编辑