博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

2016年6月17日

摘要: Analyzer,或者说文本分析的过程,实质上是将输入文本转化为文本特征向量的过程。这里所说的文本特征,可以是词或者是短语。它主要包括以下四个步骤: 1、分词,将文本解析为单词或短语 2、归一化,将文本转化为小写 3、停用词处理,去除一些常用的、无意义的词 4、提取词干,解决单复数、时态语态等问题 阅读全文

posted @ 2016-06-17 14:33 和风细雨汪汪 阅读(1381) 评论(0) 推荐(1) 编辑