Lucene4.1 视频学习

1.将路径建立在内存中 Directory d = new RAMDirectiry();

2.Filed Index(索引选项)：
Index.ANALYZED:进行分词和索引，适应于标题，内容等
Index.NOT_ANALYZED:进行索引，但是不进行分词，比如说身份证号，姓名等，用于精确查找
Index.ANALYZED_NOT_NORMS 进行分词但不存储norm信息，该信息包括创建索引时间和权值等内容
Index.NOT_ANALYZED_NOT_NORMS:不进行分词也不存储norm信息
Index.NO 不进行索引

3.IndexReader indexr = IndexReader.open(directory);
读取文档数量 indexr.numDocs();
文档总数量  indexr.maxDocs();
删除的文档数量 indexr.numDeleteDocs();(通过deleteDcoument删除的文档不会彻底删除，保存在*.del文件中)
可以按如下代码恢复通过deleteDocument删掉的文档：
IndexReader index = IndexReader.open(directory,false);(布尔类型的值是设置readonly的)
reader.undeleteAll();(此时文档恢复,*.del消失)

通过forceMergeDeletes()删除的文档无法恢复(在3.5之前是通过optimize()方法来实现的，只不过消耗资源，3.5之后弃用)

4.updateDocument 操作实际上为先删除后添加
indexr.updateDocument(term,doc);
term为要删除的内容，doc为添加的内容，故两者id可以不同

 

5.添加数字类型的域 NumericField(String name , Store store ,boolean index)
doc.add(new NumericField("content" , Field.Store.YES , true).setIntValue("value"));

数字类型的范围查询

Query queryPrice =  NumericRangeQuery.newDoubleRange(ProductIndexFields.price.toString(), Double.valueOf(priceFrom.trim()), Double.valueOf(priceTo.trim()), true, true); 参数表示的内容依次为下限，上限，下限区间的开闭，上限区间的开闭

6.doc.setBoost();添加索引的时候设置boost ，然后存储在索引文件中
search的时候获取boost是1.0 原因是两个document已经不同，一个是索引文件中存储的，一个是用search.doc(docId)获取的

7.为了节省reader打开和关闭需要的时间，可以创建一个单例的indexReader,不进行关闭，
也就是一个项目只有一个单独的indexReader
private static IndexReader reader= null ;
在构造方法内初始化reader即可
然后可以在方法中如下写:(openIfChanged方法：如果reader发生变化，则重新打开新的reader , 否则返回null)
if(reader == null){
    reader = IndexReader.open(directory);
}else{
    IndexReader ir = IndexReader.openIfChanged(reader);
    reader.close();
    if(ir != null) reader = ir ;
}
即可实现动态建立reader,查看进行更新 删除后的结果

也可以实现一个单独的indexWriter ,此时不能用indexWiter.close()来实现提交writer
改变索引之后，需要indexWriter.commit()来实现数据的实时删除更新
一般用writer删除索引内容

查询：

1.TermQuery(Term) 基本查询  精确匹配 有什么查什么
2.TermRangeQuery(field , start , end , 开区间/闭区间 , 开区间/闭区间 ) 范围查询 无法查询numField的索引
TermRangeQuery("name" , "a" ,"s" , true ,true )查询a开头s结尾的
3.NumricRangeQuery 查询数字范围的 Query query = NumricRangeQuery.newIntRange(filed , end , 开区间/闭区间 , 开区间/闭区间)
4.PrefixQuery(Term)  匹配每个单词的前缀(索引的时候会把一句话分成一个个单词)
5.WildcardQuery(Term) 可以在传入的value中使用通配符 ? 一个字符 * 任意多个字符
6.BooleanQuery 可以组合多个query
7.PhraseQuery 短语查询 可以依靠一句话中的几个单词和中间隔的位置来查询
PhraseQuery query = new PhraseQuery();
query.setSlop(1); //设置中间隔的位置数
query.add(new Term("content","i"));
query.add(new Term("content","you")); 则可以查出 I love You(index 的时候会变成 i love you)等内容
8.FuzzyQuery(Term) 模糊查询 可以匹配跟value有一个不同的模糊查询，最多两个
比如 make , 可以查出 mike jake等内容 还有其他设置可以进行

QueryParser(Version.LUCENE_35,"content",new StandardAnalyzer(Version.LUCENE_35))  
Query query = parser.parse(keyword);
对于keyword
1.空格默认or  a b 就是包含a或者b  a AND b 就是包含a和b
2.name:mike 在name中搜索含有mike的
3.email:*@corezon.com 在email中查询以corezon邮箱结尾的(前提是设置parser.setAllowLeadingWildCard(true),
不然*开头会使query消耗过大而默认关闭此情况);
4.- name:mike +content:football: name中不含有mike ,但是content中含有football的
5.id:[1 TO 3] :匹配id从1 到3闭区间  也就是 1 2 3
6.id:(1 TO 3) :匹配id从1 到3开区间 也就是 2
7."\"i like football\"" :匹配含有 i like football的  短语的匹配
8."\"i football\"~1" :匹配i 和 like 之间有一个单词的
以上内容只是匹配string类型的索引的

从某一个ScoreDocs开始得到size为20的topdocs
TopDocs td = searcher.searchAfter(lastsd,query,size)

 

11.TokenStream 分词器做好处理之后得到的一个流，这个流中存储了分词的各种信息，
可以通过TokenStream有效的获取分词单元信息
Tokenier主要负责接收字符流reader ,将数据转化为语汇单元
Tokenfilter 对已经分好的词进行过滤 比如大小写 ……

12.主要的分词器：
StandardAnalyzer StopAnalyzer WhitespaceAnalyzer SimpleAnalyzer

13.自定义停词分词器
中文分词器
近义词分词器  需要熟悉

14.设置排序之后  评分就是消失 默认是升序
indexsearcher.search(quertstr,length,sort)
Sort.INDEXORDER 通过doc的id进行排序
Sort.RELEVANCE 使用默认的排序方式
new SortField("size",SortFiled.INT)使用某个字段的内容排序 ，比如说size的大小
new SortField("filename",SortFiled.STRING) 通过filename的首字母排序
new SortField("filename",SortFiled.STRING,true) 设置降序排序 最后参数表示是否反转

19.其他知识

 IndexWriterConfig iwc = new IndexWriterConfig(Version.LUCENE_41,analyzer);
        LogMergePolicy mergePolicy = new LogByteSizeMergePolicy();
        //达到3个文件时就和合并
        mergePolicy.setMergeFactor(3);
        iwc.setMergePolicy(mergePolicy);

Field.Store 表示“是否存储”，即该Field内的信息是否要被原封不动的保存在索引中。
Field.Index 表示“是否索引”，即在这个Field中的数据是否在将来检索时需要被用户检索到，一个“不索引”的Field通常仅是提供辅助信息储存的功能。
Field.TermVector 表示“是否切词”，即在这个Field中的数据是否需要被切词。

WildcardQuery与QueryParser不同的是:WildcardQuery的前缀可以为*,而QueryParser不行
FuzzyQuery  可以查询有两个单词不同的

// 多关键的搜索 PhrasePrefixQuery  
    public void phrasePrefixSearcher() throws IOException{  
         // 简言之，用第一个的term数组上面的每个内容匹配下面的term 
        IndexSearcher search = new IndexSearcher(directory);  
          
        PhrasePrefixQuery query = new PhrasePrefixQuery();  
          
        // 这里两项都有可能首先被匹配  
        query.add(new Term[]{new Term("content","would"),new Term("content","can")});  
          
        // 只有一项必须匹配  
        query.add(new Term("content","help"));  
          
        // If you would like to help promote OpenOffice  
        // can I help you  
        // slop因子的作用域为查询中的所有短语  
        query.setSlop(1);  
          
        // 匹配第一项为 would 或 can 第二项为help  
        // solp设置为1   
        // If you would like to help promote OpenOffice  除去if to 外,would与help的距离=1  
        // can I help you 的距离也=1  所以可以搜索出两条数据  
          
        Hits hits = search.search(query);  
          
        printResult(hits);  
          
        search.close();  
    }  

    Term t = new Term("content", "work"); 
                FuzzyQuery query = new FuzzyQuery(t); 
              //FuzzyQuery还有两个构造函数，来限制模糊匹配的程度 
              // 在FuzzyQuery中，默认的匹配度是0.5，当这个值越小时，通过模糊查找出的文档的匹配程度就 
               // 越低，查出的文档量就越多,反之亦然 
                FuzzyQuery query1 = new FuzzyQuery(t, 0.1f); 
                FuzzyQuery query2 = new FuzzyQuery(t, 0.1f, 1); 
        //第二个是设置匹配度，第三个是设置有多少个前缀字母完全匹配

部分代码来源：http://callan.iteye.com/blog/153553

setboost的运用：http://blog.csdn.net/yja886/article/details/6612104