Lucene系列-分析器

分析器介绍

搜索的基础是对文本信息进行分析，Lucene的分析工具在org.apache.lucene.analysis包中。分析器负责对文本进行分词、语言处理得到词条，建索引和搜索的时候都需要用到分析器，两者应当是同一个，否则没法很好的匹配。

Lucene的分析器往往包括一个分词器(Tokenizer)和多个过滤器(TokenFilter)，过滤器负责对切出来的词进行处理，如去掉敏感词、转换大小写、转换单复数等。tokenStream方法中往往是先使用一个Tokenizer，接着使用多个TokenFilter，Lucene自带的StandardAnalyzer就使用了StandardTokenizer with StandardFilter, LowerCaseFilter and StopFilter。抽象基类结构图如下。

注：停词-频繁使用但没有意义的词，在建索引或搜索时忽略掉。英语中的冠词、介词、连词(an/this/and)，中文中的"的/也/为"。

常用分词器

以"Hello, this is a test case. 你好，这是一个测试的实例。created on 20140707"为例。

 

• StandardAnalyzer：按空格、标点符号切词，中文逐字切割，忽略停词。

  [hello][test][case][你][好][这][是][一][个][测][试][的][实][例][created][20140707]

• StopAnalyzer：空格、标点切分中英文，忽略停词，忽略数字。

  [hello][test][case][你好][这是一个测试的实例][created]

• SimpleAnalyzer：空格、标点切分中英文，忽略数字。

  [hello][this][is][a][test][case][你好][这是一个测试的实例][created][on]

• WhitespaceAnalyzer：空格切分中英文。

  [Hello,][this][is][a][test][case.][你好，这是一个测试的实例。created][on][20140707]

中文分词器

• 单字分词：如StandardAnalyzer
• 二分法：每2个字做为一个词语进行切分，可以减少每个词条后位置信息的长度。如CJKAnalyzer

  [hello][test][case][你好][这是][是一][一个][个测][测试][试的][的实][实例][created][20140707]

• 词典分词：构造一个常用词典对文本进行词语切分，如mmseg4j的MaxWordAnalyzer

  [hello][this][is][a][test][case][你好][这是][一个][测试][的][实例][created][on][20140707]

一些技巧

如何获取切词后的Token

//lucene3.5之前
Analyzer analyzer = new MaxWordAnalyzer();
TokenStream stream = analyzer.tokenStream("", new StringReader("Hello, this is a test case. " + "你好，这是一个测试的实例。" +  "created on 20140707"));
stream.reset();
String out = "";
while (stream.incrementToken()) {
    out += "[" + stream.getAttribute(TermAttribute.class).term() + "]";
}
System.out.println(out);
//lucene3.5之后
Analyzer analyzer = new StandardAnalyzer();
TokenStream stream = analyzer.tokenStream("", new StringReader("Hello, this is a test case. " + "你好，这是一个测试的实例。" +  "created on 20140707"));
stream.reset();
String out = "";
while(stream.incrementToken()){
    out += "[" + stream.getAttribute(CharTermAttribute.class).toString() + "]";
}
System.out.println(out);

 

mmseg4j词典

词典要求utf-8编码，可以在实例化Analyzer时指定词典路径，也可以设置mmseg.dic.path来指定词典路径，如果不指定路径，默认从mmseg4j-core.jar中的data目录下加载词典。即使指定了新路径，mmseg4j-core下的words.dic也会被加载。

chars.dic每行是一个单个字和对应频率，中间用空格分开，一般不用关心。

units.dic每行是一个单位的字，如分、亩，用以单独切分。

words.dic是核心词库，一行一条，可以下载搜狗的词库http://www.sogou.com/labs/dl/w.html。

wordsxxx.dic是自定义词库文件。

使用mmseg4j时需要3个包：mmseg4j-core.jar包含词库文件，mmseg4j-analysis.jar是一些analysis(如MaxWordAnalyzer)，mmseg4j-solr.jar是一些solr使用的功能。