自然语言处理3.8——分割
摘要:
分词是分割的一个更普遍的问题实例,这一节,我们要学习一下分割技术。 1、断句 在词级水平处理文本时候通常假定能够将文本划分成单个句子。 一些语料库提高了句子级别的访问。例如,我们可以计算布朗预料库中每个句子的平均词数。 在其他情况下,文本可能只是一个字符流。在将文本分词之前,需要将它分割成句子。NL 阅读全文
posted @ 2016-10-25 14:35 波比12 阅读(2187) 评论(0) 推荐(0) 编辑