摘要: 一、背景知识 1.1 什么是分词? NLP的基础任务分为三个部分,词法分析、句法分析和语义分析,其中词法分析中有一种方法叫Tokenization,对汉字以字为单位进行处理叫做分词。 Example : 我 去 北 京 S S B E 注:S代表一个单独词,B代表一个词的开始,E表示一个词的结束(北 阅读全文
posted @ 2017-07-31 11:23 Joyce_song94 阅读(1837) 评论(0) 推荐(0) 编辑