Lucene.Net索引的建立

在建立索引前，先了解下lucene中的一些与索引相关的重要类。

为了对文档进行索引，Lucene 提供了五个基础的类，他们分别是 Document, Field, IndexWriter, Analyzer, Directory。下面我们分别介绍一下这五个类的用途：

Document

Document 是用来描述文档的，这里的文档可以指一个 HTML 页面，一封电子邮件，或者是一个文本文件。一个 Document 对象由多个 Field 对象组成的。可以把一个 Document 对象想象成数据库中的一个记录，而每个 Field 对象就是记录的一个字段。在建立索引的时候，也就是实例化一个索引器IndexWriter的之前，必须通过已经建立好的Document逻辑文件，将Document的对象添加到IndexWriter实例中，才能算是建立索引。

Field

Field 对象是用来描述一个文档的某个属性的，比如一封电子邮件的标题和内容可以用两个 Field 对象分别描述。

Document汇集数据源，这个数据源是通过Field来构造的。构造好Field之后，将每个Field对象加入到Document之中，可以通过Document来管理Field，然后将聚集的Document加入到IndexWriter中，建立索引，写入指定的Directory，为检索做准备。

Analyzer

在一个文档被索引之前，首先需要对文档内容进行分词处理，这部分工作就是由 Analyzer 来做的。Analyzer 类是一个抽象类，它有多个实现。针对不同的语言和应用需要选择适合的 Analyzer。Analyzer 把分词后的内容交给 IndexWriter 来建立索引。

IndexWriter

IndexWriter 是 Lucene 用来创建索引的一个核心的类，他的作用是把一个个的 Document 对象加到索引中来。建立索引必须从它开始。而且，从它的构造函数开始。

Directory

这个类代表了 Lucene 的索引的存储的位置，这是一个抽象类，它目前有两个实现，第一个是 FSDirectory，它表示一个存储在文件系统中的索引的位置。第二个是 RAMDirectory，它表示一个存储在内存当中的索引的位置

Field函数：public Field(string name, string value_Renamed, Field.Store store, Field.Index index)

                Field函数 第一个参数是字段名称，第二个参数是字段内容，第三个参数是存储类型，第四个参数是索引类型
                Field.Store: 有三个属性：
                Field.Store.YES：索引文件本来只存储索引数据, 此设计将原文内容直接也存储在索引文件中，如文档的标题。
                Field.Store.NO：原文不存储在索引文件中，搜索结果命中后，再根据其他附加属性如文件的Path，数据库的主键等，重新连接打开原文，适合原文内容较大的情况。
                Field.Store.COMPRESS 压缩存储；

                Field.Index:有四个属性：
                Field.Index.TOKENIZED：分词索引
                Field.Index.UN_TOKENIZED：进行索引，但不对其进行分词，如作者名，日期等，Rod Johnson本身为一单词，不再需要分词。
                Field.Index.NO 和 Field.Index.NO_NORMS：
                不进行索引，存放不能被搜索的内容如文档的一些附加属性如文档类型, URL等。

下面是一个示例：

view plaincopy to clipboardprint?
/* 
 * 建立一个Form，命名为DemoIndex，添加四个控件： 
 * Button按钮命名button1，添加单击事件 
 * RichTextBox控件，命名richTextBox1 
 * StatusBar，命名statusBar1 
 * FolderBrowserDialog，命名folderBrowserDialog1 
 * 分词类使用中文分词类库ChineseAnalyzer，也可以使用Lucene自带的类库 
 */ 
using System;  
using System.Collections.Generic;  
using System.ComponentModel;  
using System.Data;  
using System.Drawing;  
using System.Text;  
using System.Windows.Forms;  
using Lucene.Net.Documents;  
using Lucene.Net.Index;  
using Lucene.Net.QueryParsers;  
using Lucene.Net.Analysis.Cn;  
using System.IO;  
 
namespace WebCheck  
{  
    public partial class DemoIndex : Form  
    {  
        public DemoIndex()  
        {  
            InitializeComponent();  
        }  
        const string INDEX_STORE_PATH = "index";  
        DateTime start = DateTime.Now;  
   
        private void button1_Click(object sender, EventArgs e)  
        {  
            DialogResult result = folderBrowserDialog1.ShowDialog();  
            if (result == DialogResult.OK)  
            {  
                IndexWriter writer = null;  
                try 
                {  
                    ///INDEX_STORE_PATH索引所在目录，ChineseAnalyzer()分词类，true是新建索引，flase追加索引。  
 
                    writer = new IndexWriter(INDEX_STORE_PATH, new ChineseAnalyzer(), true);  
                    writer.SetMaxFieldLength(250000);//设置建立索引的长度，就是对数据的前多少条建立索引      
                    writer.SetMaxBufferedDocs(100);//控制写入一个新的segment前内存中保存的document的数目,设置较大的数目可以加快建索引速度     
                    writer.SetMaxMergeDocs(100);// 控制一个segment中可以保存的最大document数目,值较小有利于追加索引的速度     
                    writer.SetMergeFactor(100);// 控制多个segment合并的频率,值较大时建立索引速度较快,默认是10     
                    output("开始建立索引....\n");  
                    start = DateTime.Now; 
                    #region 同步索引  
                    //IndexDirectory(writer,new FileInfo(this.folderBrowserDialog1.SelectedPath));  
                    //如果是同步索引的话，调用优化索引的函数可以对索引优化，如果是异步就不行了。  
                    //异步的话，最好把writer也当做参数传递给回调函数里，在回调函数里优化，这里  
                    //传递了一个时间参数进去，你可以传递一个包含start和writer的自定义对象进去。  
                    //为了让示例简单我没有这个做。  
                    //writer.Optimize();  
                    //writer.Close(); 
                    #endregion 
 
                    #region 异步索引  
                    // BeginInvoke 方法可启动异步调用。  
                    //它与您需要异步执行的方法具有相同的参数，另外它还有两个可选参数。  
                    //第一个参数是一个 AsyncCallback 委托，该委托引用在异步调用完成时要调用的方法。  
                    //第二个参数是一个用户定义的对象，该对象可向回调方法传递信息。  
                    //BeginInvoke 立即返回，不等待异步调用完成。BeginInvoke 会返回 IAsyncResult，这个结果可用于监视异步调用进度。  
                    //结果对象IAsyncResult是从开始操作返回的，并且可用于获取有关异步开始操作是否已完成的状态。  
                    //结果对象被传递到结束操作，该操作返回调用的最终返回值。  
                    //在开始操作中可以提供可选的回调。如果提供回调，在调用结束后，将调用该回调；并且回调中的代码可以调用结束操作。  
 
                    CheckForIllegalCrossThreadCalls = false;  
                    AsyncIndexDirectoryCaller caller = new AsyncIndexDirectoryCaller(IndexDirectory);  
                    IAsyncResult ar = caller.BeginInvoke(writer, new FileInfo(this.folderBrowserDialog1.SelectedPath), new AsyncCallback(searchCallback), writer);  
                    caller.EndInvoke(ar);  
                    this.statusBar1.Text = "准备"; 
                    #endregion  
                }  
                catch (Exception ex)  
                {  
                    output(ex.Message);  
                }  
 
            }  
        }  
        delegate void AsyncIndexDirectoryCaller(IndexWriter writer, FileInfo file);//委托  
        public void IndexDirectory(IndexWriter writer, FileInfo file)  
        {  
            if (Directory.Exists(file.FullName))//如果file是一个目录(该目录下面可能有文件、目录文件、空文件三种情况)  
            {  
                String[] files = Directory.GetFileSystemEntries(file.FullName);//获取此目录下子目录和文件集合  
                if (files != null)  
                {  
                    for (int i = 0; i < files.Length; i++)  
                    {  
                        IndexDirectory(writer, new FileInfo(files[i]));  //这里是一个递归   
                    }  
                }  
            }  
            else // 到达叶节点时，说明是一个File，而不是目录，则建立索引  
            {  
                if (file.Extension == ".txt" || file.Extension == ".htm" || file.Extension == ".html")//指定为特定的页面建立索引  
                {  
                    IndexFile(file, writer);  
                }  
            }  
        }  
        private void IndexFile(FileInfo file, IndexWriter writer)  
        {  
            try 
            {  
                Document doc = new Document();  
                output("正在建立索引" + file.FullName);  
                //Field函数 第一个参数是字段名称，第二个参数是字段内容，第三个参数是存储类型，第四个参数是索引类型  
                //Field.Store: 有三个属性：  
                //Field.Store.YES：索引文件本来只存储索引数据, 此设计将原文内容直接也存储在索引文件中，如文档的标题。   
                //Field.Store.NO：原文不存储在索引文件中，搜索结果命中后，再根据其他附加属性如文件的Path，数据库的主键等，重新连接打开原文，适合原文内容较大的情况。   
                //Field.Store.COMPRESS 压缩存储；   
                //Field.Index:有四个属性：  
                //Field.Index.TOKENIZED：分词索引   
                //Field.Index.UN_TOKENIZED：不分词进行索引，如作者名，日期等，Rod Johnson本身为一单词，不再需要分词。   
                //Field.Index.NO 和 Field.Index.NO_NORMS：  
                //不进行索引，存放不能被搜索的内容如文档的一些附加属性如文档类型, URL等。   
 
                doc.Add(new Field("filename", file.FullName, Field.Store.YES, Field.Index.NO_NORMS));  
                //这里一定要设置响应的编码格式，否则建立索引的时候不能正确读取内容并分词  
                doc.Add(new Field("contents", GetContent(file), Field.Store.NO, Field.Index.UN_TOKENIZED));  
                writer.AddDocument(doc);  
            }  
            catch (FileNotFoundException fnfe)  
            {  
                output(fnfe.Message);  
            }  
        }  
        /// <summary>  
        ///   
        /// </summary>  
        /// <param name="file"></param>  
        /// <returns></returns>  
        private string GetContent(FileInfo file)  
        {  
            string content = "";  
            StreamReader filestream = new StreamReader(file.FullName, System.Text.Encoding.Default);  
            content = filestream.ReadToEnd();  
            filestream.Close();  
            if (file.Extension == ".htm" || file.Extension == ".html")  
            {  
                content = parseHtml(content);  
            }  
            return content;  
        }  
        /// <summary>  
        /// 出去网页中的html字符  
        /// </summary>  
        /// <param name="html"></param>  
        /// <returns></returns>  
        private string parseHtml(string html)  
        {  
 
            string temp = System.Text.RegularExpressions.Regex.Replace(html, "<[^>]*>", "");  
            return temp.Replace(" ", " ");  
        }  
        void searchCallback(IAsyncResult ar)  
        {  
            IndexWriter writer = (IndexWriter)ar.AsyncState;  
            writer.Optimize();//Optimize()方法是对索引进行优化  
            writer.Close();  
            TimeSpan s = DateTime.Now - start;  
            output("索引完成,共用时" + s.Milliseconds + "毫秒");  
            MessageBox.Show("索引完成,共用时" + s.Milliseconds + "毫秒", "提示");  
        }  
        void output(string s)  
        {  
            richTextBox1.AppendText(s + "\n");  
            this.statusBar1.Text = s;  
        }  
    }  
} 

 

本文来自CSDN博客，转载请标明出处：http://blog.csdn.net/xuezhongsong/archive/2009/07/28/4388241.aspx