Lucene学习笔记（一）

建立索引:

import java.io.File;
import java.io.FileReader;
import java.io.IOException;
import java.util.Date;

import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.document.Field;
import org.apache.lucene.index.IndexWriter;

public class Indexer 
{
    //建立索引
    /**
     * @param args
     */
    public static void main(String[] args) throws Exception
    {
        // TODO Auto-generated method stub
        if (args.length != 2)
        { 
             throw new Exception("Usage: java" + Indexer.class.getName()+ "<index dir> <data dir>"); 
        } 
        File indexDir = new File(args[0]);//存放索引的路径
        File dataDir = new File(args[1]); //要建立索引的目录路径
        long start = new Date().getTime(); 
        int numIndexed = index(indexDir, dataDir); //建立索引
        long end = new Date().getTime(); 
        System.out.println("Indexing " + numIndexed + " files took " + (end - start) + " milliseconds"); 
    }

    private static int index(File indexDir, File dataDir) throws IOException 
    { 
         if (!dataDir.exists() || !dataDir.isDirectory()) 
         { 
            throw new IOException(dataDir+ " does not exist or is not a directory"); 
         }
         IndexWriter writer = new IndexWriter(indexDir, new StandardAnalyzer(), true); 
         writer.setUseCompoundFile(false); 
         indexDirectory(writer, dataDir); 
         int numIndexed = writer.docCount(); 
         writer.optimize(); 
         writer.close(); 
         return numIndexed; 
    }

    private static void indexDirectory(IndexWriter writer, File dataDir)  throws IOException
    {
        // TODO Auto-generated method stub
         File[] files = dataDir.listFiles(); 
         for (int i = 0; i < files.length; i++)
         { 
             File f = files[i]; 
             if (f.isDirectory()) 
             { 
                 indexDirectory(writer, f); 
             } 
             else if (f.getName().endsWith(".txt")) 
             { 
                 indexFile(writer, f); 
             } 
         } 
    }

    private static void indexFile(IndexWriter writer, File f) throws IOException 
    { 
         if (f.isHidden() || !f.exists() || !f.canRead()) 
         { 
             return; 
         } 
         System.out.println("Indexing " + f.getCanonicalPath()); 
         Document doc = new Document(); 
         doc.add(new Field("contents", new FileReader(f)));
         doc.add(new Field("filename", f.getCanonicalPath(), Field.Store.YES, Field.Index.TOKENIZED));
         writer.addDocument(doc);
        
    }

}

搜索:

import java.io.File;
import java.util.Date;

import org.apache.lucene.analysis.standard.StandardAnalyzer;
import org.apache.lucene.document.Document;
import org.apache.lucene.queryParser.QueryParser;
import org.apache.lucene.search.Hits;
import org.apache.lucene.search.IndexSearcher;
import org.apache.lucene.search.Query;
import org.apache.lucene.store.Directory;
import org.apache.lucene.store.FSDirectory;


public class Searcher
{

    /**
     * @param args
     */
    public static void main(String[] args) throws Exception 
    { 
         if (args.length != 2)
         { 
             throw new Exception("Usage: java " + Searcher.class.getName()+ " <index dir> <auery>"); 
         } 
         File indexDir = new File(args[0]);//要搜索的索引所在目录
         String q = args[1]; //搜索关键字
         if (!indexDir.exists() || !indexDir.isDirectory()) 
         { 
             throw new Exception(indexDir + " does not exist or is not a directory."); 
         } 
         search(indexDir, q); 
    }

    private static void search(File indexDir, String q) throws Exception 
    { 
         Directory fsDir = FSDirectory.getDirectory(indexDir, false); 
         IndexSearcher is = new IndexSearcher(fsDir);// 打开索引
         QueryParser parser = new QueryParser("contents", new StandardAnalyzer());

         Query query = parser.parse(q); //对文本内容进行分析查询  
         long start = new Date().getTime(); 
         Hits hits = is.search(query); //搜索索引 
         long end = new Date().getTime(); 
         System.err.println("Found " + hits.length() + " document(s) (in " + (end - start) +  " milliseconds) that matched query '" + q + "’:"); 
         for (int i = 0; i < hits.length(); i++)
         { 
             Document doc = hits.doc(i); //得到匹配的文档 
             System.out.println(doc.get("filename")); 
         } 
    }

}

重点学习的几个方面：

1，              Lucene的索引结构，

2，              各种异构数据源的解析器（Parser）

3，              分词器(Analyzer)提取索引项（尤其是如何进行中文分词）

注：这里使用的是lucene2.2.0