摘要: 微信公众号:数据运营人本系列为博主的读书学习笔记,如需转载请注明出处。 第三章 加工原料文本 3.8 分割断句分词 3.8 分割 断句 在词级水平处理文本通常假定能够将文本划分成单个句子,一些语料库已经提供在句子级别的访问,计算布朗语料库中每个句子的平均词数: import nltklen 阅读全文
posted @ 2019-03-14 16:14 ly803744 阅读(874) 评论(0) 推荐(0) 编辑