2016年10月25日

自然语言处理3.8——分割

摘要: 分词是分割的一个更普遍的问题实例,这一节,我们要学习一下分割技术。 1、断句 在词级水平处理文本时候通常假定能够将文本划分成单个句子。 一些语料库提高了句子级别的访问。例如,我们可以计算布朗预料库中每个句子的平均词数。 在其他情况下,文本可能只是一个字符流。在将文本分词之前,需要将它分割成句子。NL 阅读全文

posted @ 2016-10-25 14:35 波比12 阅读(2174) 评论(0) 推荐(0) 编辑

导航