Lucene.Net

Lucene.Net

Lucene.Net

Lucene.Net是由Java版本的Lucene移植过来的，所有的类、方法都几乎和Lucene一模一样，因此使用时参考Lucene 即可。NHibernate、Spring.Net、NPOI。MONO。

Lucene.Net只是一个全文检索开发包（就像ADO.Net和管理系统的关系），不是一个现成的搜索引擎，它的功能就是：把数据扔给Lucene.Net ，查询数据的时候从Lucene.Net 查询数据，可以看做是提供了全文检索功能的一个数据库。Lucene.Net不管文本数据怎么来的。用户可以基于Lucene.Net开发满足自己需求的搜索引擎。 Lucene.Net只能对文本信息进行检索。如果不是文本信息，要转换为文本信息，比如要检索Excel文件，就要用NPOI把Excel读取成字符串，然后把字符串扔给Lucene.Net。Lucene.Net会把扔给它的文本切词保存，加快检索速度。因为是保存的时候分词（切词），所以搜索速度非常快！

 

 

分词

分词是核心的算法，搜索引擎内部保存的就是一个个的“词（Word）”。英文分词很简单，按照空格分隔就可以。中文则麻烦，把“北京，Hi欢迎你们大家” 拆成“北京 Hi 欢迎 你们 大家”。大学生生什么

Lucene.Net中不同的分词算法就是不同的类。所有分词算法类都从Analyzer类继承，不同的分词算法有不同的优缺点。

（*）内置的StandardAnalyzer是将英文按照空格、标点符号等进行分词，将中文按照单个字进行分词，一个汉字算一个词。

（*）二元分词算法，每两个汉字算一个单词，“欢迎你们大家”会分词为“欢迎   迎你  你们  们大  大家” 。CJKAnalyzer

无论是一元分词还是二元分词，分词效率比较高，但是分出无用词，因此索引库大。

基于词库的分词算法，基于一个词库进行分词，可以提高分词的成功率。有庖丁解牛、盘古分词等。

StandardAnalyzer示例

 Analyzer analyzer = new StandardAnalyzer();
            TokenStream tokenStream = analyzer.TokenStream("",new StringReader("北京，Hi欢迎你们大家"));
            Lucene.Net.Analysis.Token token = null;
            while ((token = tokenStream.Next()) != null)
            {
                Console.WriteLine(token.TermText());
            }

盘古分词算法使用

打开PanGu4Lucene\WebDemo\Bin，将Dictionaries添加到项目根路径（改名为Dict），添加对PanGu.dll（同目录下不要有Pangu.xml，那个默认的配置文件的选项对于分词结果有很多无用信息）、PanGu.Lucene.Analyzer.dll的引用

把上节代码的Analyzer用PanGuAnalyzer代替

运行报错？通用技巧：把Dict目录下的文件“复制到输出目录”设定为“如果较新则复制”，每次生成的时候都会自动把文件拷到bin\Debug 下，非常方便。（只有Web应用程序有那个选项，网站没有。）永远不要对bing\debug下的东西做直接的修改，要改“源文件”。

（*）Dictionaries下几个txt文件简介

词库的编辑，使用DictManage.exe，对单词编辑的时候要先查找。工作的项目中要将行业单词添加到词库中，比如餐饮搜索、租房搜索、视频搜索等。

Lucene.Net核心类简介

（*）Directory表示索引文件(Lucene.net用来保存用户扔过来的数据的地方)保存的地方，是抽象类，两个子类FSDirectory（文件中）、RAMDirectory （内存中）。使用的时候别和IO里的Directory弄混了。

创建FSDirectory的方法，FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath),new NativeFSLockFactory())， path索引的文件夹路径

IndexReader对索引进行读取的类，对IndexWriter进行写的类。

IndexReader的静态方法bool IndexExists(Directory directory)判断目录directory是否是一个索引目录。IndexWriter的bool IsLocked(Directory directory) 判断目录是否锁定，在对目录写之前会先把目录锁定。两个IndexWriter没法同时写一个索引文件。IndexWriter在进行写操作的时候会自动加锁，close的时候会自动解锁。IndexWriter.Unlock方法手动解锁（比如还没来得及close IndexWriter 程序就崩溃了，可能造成一直被锁定）。

对数据进行索引

string indexPath = “d:/temp”;//注意和磁盘上文件夹的大小写一致，否则会报错。
FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath),new NativeFSLockFactory());
bool isExists= IndexReader.IndexExists(directory);
            if (isExists)
            {
                //如果索引目录被锁定（比如索引过程中程序异常退出），则首先解锁
        //Lucene.Net在写索引库之前会自动加锁，在close的时候会自动解锁
        //不能多线程执行，只能处理意外被永远锁定的情况
        if (IndexWriter.IsLocked(directory))
                {
                  IndexWriter.Unlock(directory);//强制解锁
                }
        }
 IndexWriter writer = new IndexWriter(directory, new PanGuAnalyzer(), !isExists, Lucene.Net.Index.IndexWriter.MaxFieldLength.UNLIMITED);
            for (int i = 1000; i < 1100; i++)
            {
                string txt = File.ReadAllText(@"C:\MxDownload\dnt_3.1.0_sqlserver\upload_files\文章\" + i + ".txt");
                Document document = new Document();//一条Document相当于一条记录
                document.Add(new Field(“number”, i.ToString(), Field.Store.YES, Field.Index. NOT_ANALYZED));//每个Document可以有自己的属性（字段），所有字段名都是自定义的，值都是string类型
                document.Add(new Field("body", txt, Field.Store.YES, Field.Index. ANALYZED, Lucene.Net.Documents.Field.TermVector.WITH_POSITIONS_OFFSETS));
                writer.AddDocument(document);//insert into...插入一条记录，有两个字段：number和body
                Console.WriteLine("索引"+i+"完毕");
            }
            writer.Close();
            directory.Close();//不要忘了Close，否则索引结果搜不到

创建索引

构造函数：IndexWriter(Directory dir, Analyzer a, bool create, MaxFieldLength mfl)因为IndexWriter把输入写入索引的时候，Lucene.net是把写入的文件用指定的分词器将文章分词（这样检索的时候才能查的快），然后将词放入索引文件。

void AddDocument(Document doc)，向索引中添加文档（Insert）。Document类代表要索引的文档（文章），最重要的方法Add(Field field)，向文档中添加字段。Document是一片文档，Field是字段（属性）。Document相当于一条记录，Field相当于字段(列)。

DeleteAll()删除所有文档； DeleteDocuments按照条件删除文档。

Field类的构造函数 Field(string name, string value, Field.Store store, Field.Index index, Field.TermVector termVector)：

– name表示字段名； value表示字段值；

–store表示是否存储value值，可选值 Field.Store.YES存储， Field.Store.NO不存储， Field.Store.COMPRESS压缩存储；默认只保存分词以后的一堆词，而不保存分词之前的内容，搜索的时候无法根据分词后的东西还原原文，因此如果要显示原文（比如文章正文）则需要设置存储。

– index表示如何创建索引，可选值Field.Index. NOT_ANALYZED

–，不创建索引，Field.Index. ANALYZED，创建索引；创建索引的字段才可以比较好的检索。是否碎尸万段！是否需要按照这个字段进行“全文检索”。

–termVector表示如何保存索引词之间的距离。“北京欢迎你们大家”，索引中是如何保存“北京”和“大家”之间“隔多少单词”。方便只检索在一定距离之内的词。