全文检索的Demo
用到lucene版本为6.3.0版本，利用的分词器为IKAnalyzer分词器，该分词对中文有较好的支持。关于支持lucene的6.xx以上的IkAnalyzer分词jar包下载地址：https://pan.baidu.com/s/1i5DreTZ
密码：2frx
package com.cn.shupu.util; import java.io.BufferedReader; import java.io.File; import java.io.FileInputStream; import java.io.IOException; import java.io.InputStreamReader; import java.io.Reader; import java.nio.file.Paths; import javax.management.Query; import org.apache.ibatis.javassist.bytecode.analysis.Analyzer; import org.apache.lucene.analysis.TokenStream; import org.apache.lucene.analysis.cn.smart.SmartChineseAnalyzer; import org.apache.lucene.analysis.standard.StandardAnalyzer; import org.apache.lucene.document.Document; import org.apache.lucene.document.Field; import org.apache.lucene.document.Field.Store; import org.apache.lucene.document.TextField; import org.apache.lucene.index.DirectoryReader; import org.apache.lucene.index.IndexReader; import org.apache.lucene.index.IndexWriter; import org.apache.lucene.index.IndexWriterConfig; import org.apache.lucene.index.IndexableField; import org.apache.lucene.index.IndexableFieldType; import org.apache.lucene.index.LogByteSizeMergePolicy; import org.apache.lucene.index.LogMergePolicy; import org.apache.lucene.index.Term; import org.apache.lucene.index.IndexWriterConfig.OpenMode; import org.apache.lucene.queryparser.classic.MultiFieldQueryParser; import org.apache.lucene.queryparser.classic.ParseException; import org.apache.lucene.search.IndexSearcher; import org.apache.lucene.search.ScoreDoc; import org.apache.lucene.search.Sort; import org.apache.lucene.search.SortField; import org.apache.lucene.search.TopDocs; import org.apache.lucene.search.BooleanClause.Occur; import org.apache.lucene.search.highlight.Fragmenter; import org.apache.lucene.search.highlight.Highlighter; import org.apache.lucene.search.highlight.InvalidTokenOffsetsException; import org.apache.lucene.search.highlight.QueryScorer; import org.apache.lucene.search.highlight.SimpleFragmenter; import org.apache.lucene.search.highlight.SimpleHTMLFormatter; import org.apache.lucene.store.Directory; import org.apache.lucene.store.FSDirectory; import org.apache.lucene.store.RAMDirectory; import org.apache.lucene.util.BytesRef; import org.apache.xmlbeans.impl.store.Path; import org.wltea.analyzer.lucene.IKAnalyzer; public class LuceneUtils { // 索引文件的存放路径 private static String indexPath = "D://index/path"; // 要索引的文件(假如要索引的文件类型为txt文件) private static String tarPath = "D://font//管理学（第四版）.txt"; // 创建索引的方法 public static void createIndex() { File filDir = new File(tarPath); File idnexDir = new File(indexPath); Boolean create = true; if (!idnexDir.exists()) { idnexDir.mkdirs(); } // 创建文件索引 try { Directory directroy = FSDirectory.open(Paths.get(indexPath)); // 创建内存索引 RAMDirectory ramDirectory = new RAMDirectory(); // 创建分词器 // 1.创建 SmartChineseAnalyze分词器 // SmartChineseAnalyzer analyzer=new SmartChineseAnalyzer(); // 2.创建StantdarAnalyzer // StandardAnalyzer analyzer = new StandardAnalyzer(); // 3.创建IKAnalyzer IKAnalyzer analyzer = new IKAnalyzer(); // 尚未初始化，因为第一次执行分词的时候才会初始化，为了在执行分此前手动添加额外的字典，需要先手动的初始化一下 /* * Configuration cfg = DefaultConfig.getInstance(); // 加载词库 * cfg.setUseSmart(true); // 设置智能分词 * org.wltea.analyzer.dic.Dictionary.initial(cfg); * * org.wltea.analyzer.dic.Dictionary dictionary = * org.wltea.analyzer.dic.Dictionary.getSingleton(); * * List<String> newWords = new ArrayList<>(); * * for (BaseLib book : books) { * * newWords.add(book.getName()); * * } dictionary.addWords(newWords);// 自动添加自定义分词 */ // 创建索引器之前的初始化 IndexWriterConfig iwc = new IndexWriterConfig(analyzer); IndexWriterConfig rwc = new IndexWriterConfig(analyzer); // SetMergeFactor是控制segment合并频率的，其决定了一个索引块中包括多少个文档，当硬盘上的索引块达到多少时， // 将它们合并成一个较大的索引块。当MergeFactor值较大时，生成索引的速度较快。MergeFactor的默认值是10，建议在建立索引前将其设置的大一些。 LogMergePolicy mergePolicy = new LogByteSizeMergePolicy(); mergePolicy.setMergeFactor(100); iwc.setMergePolicy(mergePolicy); iwc.setRAMBufferSizeMB(2048); iwc.setMaxBufferedDocs(1000); iwc.setMaxBufferedDocs(1000); if (create) { // Create a new index in the directory, removing any // previously indexed documents: // 在目录中创建一个新的索引,删除任何先前生成的索引文档 rwc.setOpenMode(OpenMode.CREATE); } else { // Add new documents to an existing index: // 新文档添加到一个现有的指数 rwc.setOpenMode(OpenMode.CREATE_OR_APPEND); } // 文件索引生成器 IndexWriter fileWriter = new IndexWriter(directroy, iwc); // 内存索引生成器 IndexWriter ramWriter = new IndexWriter(ramDirectory, rwc); // 现将索引添加到内存索引中 // 创建文档 Document document = new Document(); // 添加term,term为索引文件中最小的单位，就像数据库中每一表的field。 // 获取文件的内容 String content = getTxt(filDir); // 其中Store.YESb表示索引的内容要保存的，Store.NO表示索引内容只索引不保存 document.add(new TextField("path", filDir.getAbsolutePath(), Store.YES)); document.add(new TextField("content", content, Store.YES)); // 根据文件的初始的OpenMode来对文件索引的添加或修改 if (ramWriter.getConfig().getOpenMode() == OpenMode.CREATE) { System.out.println("adding " + filDir.getAbsolutePath()); ramWriter.addDocument(document); } else { System.out.println("updating " + filDir.getAbsolutePath()); ramWriter.updateDocument(new Term("path", filDir.toString()), document); } ramWriter.close(); // 将内存索引添加文件索引中，永久保存。内存索引只是暂时的保存索引文件，当程序结束时，内存索引的文件会消失 fileWriter.addIndexes(new Directory[] { ramDirectory }); fileWriter.forceMerge(1000); fileWriter.maybeMerge(); fileWriter.close(); } catch (IOException e) { // TODO Auto-generated catch block e.printStackTrace(); } } /** * 121 * 读取txt文件的内容 122 * @param file 想要读取的文件对象 123 * @return 返回文件内容 124 */ public static String getTxt(File file) { String result = ""; try { BufferedReader br = new BufferedReader(new InputStreamReader(new FileInputStream(file), "GBK")); String s = null; while ((s = br.readLine()) != null) {// 使用readLine方法，一次读一行 result = result + "\n" + s; } br.close(); } catch (Exception e) { e.printStackTrace(); } return result; } public static void searchByKeyWord(String keyWord) { try { Directory directory = FSDirectory.open(Paths.get(indexPath)); // 采用IkAnalyzer,其中true为智能分词。 IKAnalyzer analuzer = new IKAnalyzer(true); // 创建索引的读器 IndexReader ireader = DirectoryReader.open(directory); // 创建索引的搜索器 IndexSearcher isearcher = new IndexSearcher(ireader); String[] stringQuery = { keyWord, keyWord };// 查询关键词的数组 String[] fields = { "path", "content" };// 多字段查询的值域 // Occur.MUST表示对应字段必须有查询值， Occur.MUST_NOT // 表示对应字段必须没有查询值，Occur.SHOULD表示对应字段应该存在查询值（但不是必须） Occur[] occ = { Occur.SHOULD, Occur.SHOULD }; org.apache.lucene.search.Query query = null; try { query = MultiFieldQueryParser.parse(stringQuery, fields, occ, analuzer); } catch (ParseException e) { // TODO Auto-generated catch block e.printStackTrace(); } /* * // 只对content进行检索 QueryParser parser = new QueryParser("contents", * analyzer); * * Query query = parser.parse(text); */ // 排序 SortField sf = new SortField(keyWord, SortField.Type.STRING_VAL, true); Sort sort = new Sort(sf); int count; // 获取一共多少条数据 TopDocs docs = null; ScoreDoc[] hits = null; docs = isearcher.search(query, Integer.MAX_VALUE, sort); hits = docs.scoreDocs; // 假如用到分页的时候，用 docs = // isearcher.searchAfter(results.scoreDocs[page.getAfterDocId()], // query, page.getPagesize(), sort); for (int i = 0; i < hits.length; i++) { Document doc = isearcher.doc(hits[i].doc); System.out.println("文件路径：" + doc.get("path")); String content = doc.get("content"); // 查询字段高亮操作 其中100为字符长度可以自动修改的; String s = null; try { s = displayHtmlHighlight(query, analuzer, "content", content, 290); } catch (InvalidTokenOffsetsException e) { // TODO Auto-generated catch block e.printStackTrace(); } System.out.println("内容：" + s); } ireader.close(); directory.close(); } catch (IOException e) { // TODO Auto-generated catch block e.printStackTrace(); } } /** * 获取高亮显示结果的html代码 * * @param query * 查询 * @param analyzer * 分词器 * @param fieldName * 域名 * @param fieldContent * 域内容 * @param fragmentSize * 结果的长度（不含html标签长度） * @return 结果（一段html代码） * @throws IOException * @throws InvalidTokenOffsetsException */ static String displayHtmlHighlight(org.apache.lucene.search.Query query, org.apache.lucene.analysis.Analyzer analyzer, String fieldName, String fieldContent, int fragmentSize) throws IOException, InvalidTokenOffsetsException { // 创建一个高亮器 Highlighter highlighter = new Highlighter(new SimpleHTMLFormatter("<font color='red'>", "</font>"), new QueryScorer(query)); Fragmenter fragmenter = new SimpleFragmenter(fragmentSize); highlighter.setTextFragmenter(fragmenter); return highlighter.getBestFragment(analyzer, fieldName, fieldContent); } public static void main(String[] args) { //本Demo只对txt文件类型做的索引 createIndex(); searchByKeyWord("管理"); } }
