摘要： 1、分词简述 在做文本处理的时候，首先要做的预处理就是分词 英文 英文单词天然有空格隔开容易按照空格分词 但是也有时候需要把多个单词做为一个分词，比如一些名词如“New York” 中文 中文没有空格，因此分词是一个需要专门去解决的问题 中英文分词原理类似 2、分词当中的基本问题 分词规范 对于一句 阅读全文