Lucene.net+盘古分词 做站内搜索

Lucene.Net简介：

Lucene.Net是由Java版本的Lucene（卢思银）移植过来的，所有的类、方法都几乎和Lucene一模一样，因此使用时参考Lucene即可。

Lucene.Net只是一个全文检索开发包，不是一个成型的搜索引擎，它的功能就是把数据扔给Lucene.Net，查询数据的时候从Lucene.Net中查询数据，可以看做是提供了全文检索功能的数据库。Lucene.Net不管文本数据怎么来的。用户可以基于Lucene.Net开发满足自己需求的搜索引擎。Lucene.Net只能对文本信息进行检索。如果不是文本信息，要转换为文本信息。

Lucene.Net内置一元分词算法，例：“北京欢迎你”，分词之后“北”  ”京”  欢”  ”迎 ” ”你”。

明显不适用中文分词，所以这里需要用到一些中文的分词算法：庖丁解牛，盘古分词

下面介绍Lucene.Net+盘古分词如何在项目中应用

第一步：准备相关资料

盘古分词： 链接：https://pan.baidu.com/s/1kUBe95X 密码：mrqi

Lucene.Net ：链接：https://pan.baidu.com/s/1eRSjLJ0 密码：z3zs

第二步：添加

1、将PanGu_Release_V2.3.1.0文件下的Dictionaries添加到项目根路径下并改名为Dict，添加PanGu.dll，PanGu.Lucene.Analyzer的引用

2、把Dict目录下的所有文件右击“属性”->“复制到输出目录”设定为“如果较新则赋值”，这样每次生成的时候都会自动把文件拷贝到“bin\Debug”下

3、添加Lucene.dll的引用

第三步：

   //对输入的搜索条件进行分词
      public static string[] PanGuSplitWord(string str)
      {
          List<string> list = new List<string>();
           Analyzer analyzer = new PanGuAnalyzer();
            TokenStream tokenStream = analyzer.TokenStream("", new StringReader(str));
            Lucene.Net.Analysis.Token token = null;
            while ((token = tokenStream.Next()) != null)
            {
                list.Add(token.TermText());
            }
            return list.ToArray();
      }


      // /创建HTMLFormatter,参数为高亮单词的前后缀
      public static string CreateHightLight(string keywords, string Content)
      {
          PanGu.HighLight.SimpleHTMLFormatter simpleHTMLFormatter =
           new PanGu.HighLight.SimpleHTMLFormatter("<font color=\"red\">", "</font>");
          //创建Highlighter ，输入HTMLFormatter 和盘古分词对象Semgent
          PanGu.HighLight.Highlighter highlighter =
          new PanGu.HighLight.Highlighter(simpleHTMLFormatter,
          new Segment());
          //设置每个摘要段的字符数
          highlighter.FragmentSize = 150;
          //获取最匹配的摘要段
          return highlighter.GetBestFragment(keywords, Content);

      }

public enum LuceneEnumType
    {
       Add,//向添加
       Delete//删除
    } 


private  void WriteSearchContent()
        {
            string indexPath = @"C:\lucenedir";//注意和磁盘上文件夹的大小写一致，否则会报错。将创建的分词内容放在该目录下。
            FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath), new NativeFSLockFactory());//指定索引文件(打开索引目录) FS指的是就是FileSystem
            bool isUpdate = IndexReader.IndexExists(directory);//IndexReader:对索引进行读取的类。该语句的作用：判断索引库文件夹是否存在以及索引特征文件是否存在。
            if (isUpdate)
            {
                //同时只能有一段代码对索引库进行写操作。当使用IndexWriter打开directory时会自动对索引库文件上锁。
                //如果索引目录被锁定（比如索引过程中程序异常退出），则首先解锁（提示一下：如果我现在正在写着已经加锁了，但是还没有写完，这时候又来一个请求，那么不就解锁了吗？这个问题后面会解决）
                if (IndexWriter.IsLocked(directory))
                {
                    IndexWriter.Unlock(directory);
                }
            }
            IndexWriter writer = new IndexWriter(directory, new PanGuAnalyzer(), !isUpdate, Lucene.Net.Index.IndexWriter.MaxFieldLength.UNLIMITED);//向索引库中写索引。这时在这里加锁。
            while (queue.Count > 0)
            {
              IndexContent indexContent =queue.Dequeue();//出队
              writer.DeleteDocuments(new Term("id", indexContent.Id.ToString()));
              if (indexContent.LuceneEnumType == LuceneEnumType.Delete)
              {
                  continue;
              }
                Document document = new Document();//表示一篇文档。

                //Field.Store.YES:表示是否存储原值。只有当Field.Store.YES在后面才能用doc.Get("number")取出值来.Field.Index. NOT_ANALYZED:不进行分词保存
                document.Add(new Field("id", indexContent.Id.ToString(), Field.Store.YES, Field.Index.NOT_ANALYZED));

                //Field.Index. ANALYZED:进行分词保存:也就是要进行全文的字段要设置分词 保存（因为要进行模糊查询）

                //Lucene.Net.Documents.Field.TermVector.WITH_POSITIONS_OFFSETS:不仅保存分词还保存分词的距离。
                document.Add(new Field("title", indexContent.Title, Field.Store.YES, Field.Index.ANALYZED, Lucene.Net.Documents.Field.TermVector.WITH_POSITIONS_OFFSETS));

                document.Add(new Field("content", indexContent.Content, Field.Store.YES, Field.Index.ANALYZED, Lucene.Net.Documents.Field.TermVector.WITH_POSITIONS_OFFSETS));
                writer.AddDocument(document);
            }

            writer.Close();//会自动解锁。
            directory.Close();//不要忘了Close，否则索引结果搜不到
        }

 

   /// <summary>
        /// 搜索
        /// </summary>
        public List<SearchResultViewModel> SearchBookContent()
        {
            string indexPath = @"C:\lucenedir";
            string kw = Request["txtSearchContent"];
            string[] keywords = Common.WebCommon.PanGuSplitWord(kw);
            FSDirectory directory = FSDirectory.Open(new DirectoryInfo(indexPath), new NoLockFactory());
            IndexReader reader = IndexReader.Open(directory, true);
            IndexSearcher searcher = new IndexSearcher(reader);
            //搜索条件
            PhraseQuery query = new PhraseQuery();
            foreach (string word in keywords)//先用空格，让用户去分词，空格分隔的就是词“计算机   专业”
            {
                query.Add(new Term("content", word));
            }
            //query.Add(new Term("body","语言"));--可以添加查询条件，两者是add关系.顺序没有关系.
            // query.Add(new Term("body", "大学生"));
         //   query.Add(new Term("content", kw));//body中含有kw的文章
            query.SetSlop(100);//多个查询条件的词之间的最大距离.在文章中相隔太远 也就无意义.（例如 “大学生”这个查询条件和"简历"这个查询条件之间如果间隔的词太多也就没有意义了。）
            //TopScoreDocCollector是盛放查询结果的容器
            TopScoreDocCollector collector = TopScoreDocCollector.create(1000, true);
            searcher.Search(query, null, collector);//根据query查询条件进行查询，查询结果放入collector容器
            ScoreDoc[] docs = collector.TopDocs(0, collector.GetTotalHits()).scoreDocs;//得到所有查询结果中的文档,GetTotalHits():表示总条数   TopDocs(300, 20);//表示得到300（从300开始），到320（结束）的文档内容.
            //可以用来实现分页功能
            List<SearchResultViewModel> searchResultList = new List<SearchResultViewModel>();
            for (int i = 0; i < docs.Length; i++)
            {
                //
                //搜索ScoreDoc[]只能获得文档的id,这样不会把查询结果的Document一次性加载到内存中。降低了内存压力，需要获得文档的详细内容的时候通过searcher.Doc来根据文档id来获得文档的详细内容对象Document.
                int docId = docs[i].doc;//得到查询结果文档的id（Lucene内部分配的id）
                Document doc = searcher.Doc(docId);//找到文档id对应的文档详细信息
                SearchResultViewModel viewModel = new SearchResultViewModel();
                viewModel.Id = int.Parse(doc.Get("id"));
                viewModel.Title = doc.Get("title");
                viewModel.Url = "/Book/ShowDetail/?id=" + viewModel.Id;
                viewModel.Content =Common.WebCommon.CreateHightLight(kw, doc.Get("content"));
                searchResultList.Add(viewModel);
            }

            SearchDetails searchDetail = new SearchDetails();
            searchDetail.KeyWords = kw;
            searchDetail.Id = Guid.NewGuid();
            searchDetail.SearchDateTime = DateTime.Now;
            searchDetailService.AddEntity(searchDetail);
            return searchResultList;

        }

 

  public class IndexContent
    {
        public string Id { get; set; }
        public string Title { get; set; }
        public string Content { get; set; }
        public LuceneEnumType LuceneEnumType { get; set; }
    }

  public enum DeleteEnumType
    {
        /// <summary>
        /// 正常显示
        /// </summary>
        Normal=0,
        /// <summary>
        /// 逻辑删除
        /// </summary>
        LogicDelete=1,
        /// <summary>
        /// 物理删除
        /// </summary>
        PhyicDelete=2
    }

 

 

 

public sealed class IndexManager
    {
        private static readonly IndexManager indexManager = new IndexManager();
        private IndexManager()
        {
        }
        public static IndexManager GetInstance()
        {
            return indexManager;
        }
        Queue<IndexContent> queue = new Queue<IndexContent>();
        /// <summary>
        /// 调用该方法，向队列中添加数据
        /// </summary>
        /// <param name="id"></param>
        /// <param name="title"></param>
        /// <param name="content"></param>
        public  void AddOrEditQueue(string id,string title,string content)
        {
            IndexContent indexContent = new IndexContent();
            indexContent.Content = content;
            indexContent.Id = id;
            indexContent.Title = title;
            indexContent.LuceneEnumType = LuceneEnumType.Add;
            queue.Enqueue(indexContent);
        }
        /// <summary>
        /// 删除
        /// </summary>
        /// <param name="id"></param>
        public  void DeleteQueue(string id)
        {
            IndexContent indexContent = new IndexContent();
            indexContent.Id = id;
            indexContent.LuceneEnumType = LuceneEnumType.Delete;
            queue.Enqueue(indexContent);
        }

        /// <summary>
        /// 创建线程
        /// </summary>
        public  void CreateThread()
        {
            Thread myThread = new Thread(CreateSearchIndex);
            myThread.IsBackground = true;
            myThread.Start();
        }
}

 

第四步：

在程序开始时

IndexManager.GetInstance().CreateThread();//开启线程，扫描队列获取信息写到Lucene.Net中。