solr 高亮显示

　　官网：https://lucene.apache.org/solr/guide/6_6/highlighting.html#Highlighting-TheUnifiedHighlighter

 

　　前言

 

　　　　solr的高亮允许匹配用户查询的文档的片段包含在查询响应中返回,高亮包含在返回结果的单独部分(highlighting部分).

　　　　solr提供了一个高亮工具的集合,这个工具允许控制大量字段的片段,片段的大小和片段的格式.高亮工具还可以被多种请求处理程序(Request Handler)调用,如DisMax,Extend DisMax,和标准查询解析器.

　　　　这里有四种种可以使用的高亮实现：

　　　　Unified Highlighter ：这是最灵活和最具选择性的选项,它支持最常见的突出显示参数，并且可以准确地处理任何查询，甚至是SpanQueries（例如从环绕解析器中可以看到）。 这种方式的的强大优势在于，

　　　　您可以选择配置Solr以将更多信息放入底层索引中，以加速突出显示大型文档; 即使在每个字段的基础上，也支持多种配置。 其他方式几乎没有这种灵活性

　　　　Original Highlighter：这个Original Highlighter是高亮的一个典型.它拥有三个高亮的最复杂的和最细粒度的查询表示法.比如,高亮能够提供精确的匹配,甚至用于如surround这样的查询解析器。

　　　　它不要求任何的特殊的数据结果如termVectors.对于一个宽泛种类的搜索情况,这是一个很好的选择.

　　　　FastVector Highlighter：FastVector Highlighter要求字段的term vector选项(termVectors,termPositions,termOffsets).并考虑到是最优化的,对于多语言环境它往往比standard highlighter会更好的工作。

　　　　因为它支持Unicode breakiterators(分解迭代).另一方面,它的查询表示没有standard highlighter那么高级.例如,它将不会很好的工作于surround解析器.它经常使用于大文档和多种类语言的高亮文本.

　　　　Postings Highlighter:Postings Highlighter要求存储storeOffsetsWithPositions(位置偏移量),需要在字段中配置.这是一个比vectors更简单有效的结果,但是不适合于大数量的查询terms。

　　　　像FastVector Highlighter,它支持Unicode算法来分割文档.另一方面,它有很粗略的查询表示:它注重于摘要的质量,完全忽略查询的结构,仅仅基于查询term和统计排序.

　　Original Highlighter

　　　　

　　　　标准高亮不要求任何特别的参数加载字段之上.尽管如此,你可以选择的对每个高亮字段打开termVectors,termPositions和termOffsets.这可以避免在查询时通过分析链(analysis chain)运行文档,可以使更快高亮.

　　　　标准高亮参数,这些参数可以定义在高亮搜索组件中,在request handler中指定默认参数.或者通过query传递给request handler.

 

　　　　1、hl :默认为空白(不高亮).为true时,开启高亮功能,为false或者空白或者缺少时,关闭高亮功能.

　　　　2、hl.fl:默认空白，指定高亮字段列表.多个字段之间以逗号或空格分开.如果为空白,对于StandardRequestHandler,高亮默认搜索字段(或者指定的df参数).对于DisMaxRequestHandler,qf作为默认的。

　　　　　　"*"可以用于匹配全局,如"text_*"或者"*",当使用"*"时,hl.requireFieldMatch=true必填.

　　　　3、hl.snippets : 默认为1.指定每个字段生成的高亮字段的最大数量.

　　　　4、hl.fragsize : 每个snippet返回的最大字符数。默认是100.如果为0，那么该字段不会被fragmented且整个字段的值会被返回。

　　　　5、hl.mergeContiguous : 默认为false. 知识solr将邻近相连的片段合并为一个单独的片段.true表示合并.默认值为false,为向后兼容设置.

　　　　6、hl.requireFieldMatch: 默认为fasle. 如果置为true，除非该字段的查询结果不为空才会被高亮。它的默认值是false，意味 着它可能匹配某个字段却高亮一个不同的字段。如果hl.fl使用了通配符，那么就要启用该参数。

　　　　　　尽管如此，如果你的查询是all字段（可能是使用 copy-field 指令），那么还是把它设为false，这样搜索结果能表明哪个字段的查询文本未被找到

　　　　7、hl.maxAnalyzedChars: 默认51200. 会搜索高亮的最大字符，默认值为51200，如果你想禁用，设为-1

　　　　8、hl.maxMultiValuedToExamine: 默认integer.MAX_VALUE.在停止之前,指定检查的多值字段的最大条木数.在任何匹配没有找到之前,如果达到限制,可能会返回0个结果.

　　　　9、 hl.maxMultiValuedToMatch: 默认integer.MAX_VALUE.在停止之前,指定在多值字段中找到的最大匹配数.如果hl.maxMultiValuedToExamine也已经定义了,首先达到的限制将决定何时停止查找。

　　　　10、 hl.alternateField: 默认blank.如果没有生成snippet（没有terms 匹配），那么使用另一个字段值作为返回。

　　　　11、hl.maxAlternateFieldLength :默认 unlimited.如果hl.alternateField启用，则有时需要制定alternateField的最大字符长度，默认0是即没有限制。所以合理的值是应该为

　　　　　　hl.snippets * hl.fragsize这样返回结果的大小就能保持一致。

　　　　12、hl.formatter :默认 simple.一个提供可替换的formatting算法的扩展点。默认值是simple，这是目前仅有的选项。显然这不够用，你可 以看看org.apache.solr.highlight.HtmlFormatter.java 和

　　　　　　solrconfig.xml中highlighting元素是如何配置的。 注意在不论原文中被高亮了什么值的情况下，如预先已存在的em tags，也不会被转义，所以在有时会导致假的高亮。

　　　　13、hl.simple.pre  hl.simple.post :　默认<em> and </em> ．

　　　　14、hl.fragmenter :　默认gap．这个是solr制定fragment算法的扩展点。gap是默认值。regex是另一种选项，这种选项指明 highlight的边界由一个正则表达式确 定。这是一种非典型 的高级选项。

　　　　　　为了知道默认设置和fragmenters (and formatters)是如何配置的，可以看看solrconfig.xml中的highlight段。

　　　　15、 hl.usePhraseHighlighter :默认true．如果一个查询中含有短语（引号框起来的）那么会保证一定要完全匹配短语的才会被高亮

　　　　16、hl.highlightMultiTerm  : 默认true.如果设置为true,solr将会高亮出现在多terms查询中的短语。

　　　　17、 hl.regex.slop:默认0.6.在使用hl.fragmenter=regex时,意思是如果hl.fragsize=100那么fragment的大小会从40-160.

　　　　18、hl.regex.pattern: 默认空白.为fragmenting指定正则表达式.这个可以用作提取句子。

　　　　19、 hl.regex.maxAnalyzedChars:默认10000. 搜索高亮的最大字符,对一个大字段使用一个复杂的正则表达式是非常昂贵的。

　　　　20、 hl.preserveMulti :默认false.如果为true,多值字段将会按照它们在索引中顺序返回所有的值.如果false,只有匹配高亮请求的值返回。

 

　　FastVector Highlighter

　　　　FastVectorHighlighter是一个基于TermVector的高亮工具.在很多情况中,它提供了比标准高亮更高的性能.要使用FastVectorHighlighter,需要设置hl.useFastVectorHighlighter参数为true.

　　　　必须对每个高亮字段打开termVectors,termPositions,termOffsets.最后你需要使用一个界限扫描器来阻止FastVectorHighlighter截取你得terms.在大多数例子中,使用breakIterator边界

　　　　扫描器将会给出一个更精确的结果.参考Using Boundary Scanners with the Fast Vector Highlighter获取更多的详细信息。

　　　　FastVector 高亮参数大部分重复了standard highlighter的参数.这些参数可以在高亮搜索组件中定义.作为指定request handler的默认参数.或者使用查询query传递给request handler。

　　　　hl.useFastVectorHighligter：默认false. true:开启FastVector Highlighter.

 

　　Using Boundary Scanners with the Fast Vector Highlighter

　　　　和Fast Vector Highlighter 一起使用边界扫描器.

　　　　这个 Fast vector highlight 偶尔会截短高亮词语.为了防止这种情况,在solrconfig.xml中实现一个边界扫描器.然后使用hl.boundaryScanner参数来指定高亮使用的边界扫描器.

　　　　solr支持两种边界扫描器:breakIterator和simple.

　　　　1、 breakIterator

　　　　界扫描器提供出色的性能,一开始就考虑本地和边界类型在内.在多数例子中使用breakIterator边界扫描器.为了实现这个breakIterator边界扫描器,将下面代码加入到solrconfig.xml文件中的highlighting部分.

　　　　调整类型,语言,国家：

<boundaryScanner name="breakIterator"
    class="solr.highlight.BreakIteratorBoundaryScanner">
    <lst name="defaults">
        <str name="hl.bs.type">WORD</str>
        <str name="hl.bs.language">en</str>
        <str name="hl.bs.country">US</str>
    </lst>
</boundaryScanner>

　　　　hl.bs.type参数的可能值是:WORD, LINE, SENTENCE, 和 CHARACTER。

　　　　2、simple

　　　　simple边界扫描器通过一个指定的最大字符数值(hl.bs.maxScan)和常用的分隔符(hl.bs.chars)来 扫描term边界.

<boundaryScanner name="simple"
    class="solr.highlight.SimpleBoundaryScanner" default="true">
    <lst name="defaults">
        <str name="hl.bs.maxScan">10</str>
        <str name="hl.bs.chars">.,!?\t\n</str>
    </lst>
</boundaryScanner>

 

 　　Postings Highlighter

　　　　PostingsHighlighter比较关注好的文档摘要和效率,但是没有其他高亮工具灵活.它使用比价少的硬盘空间,专注好的文档摘要,提供一个高性能方法,如果相对于每页结果数查询有一个较低的terms数。

　　　　但是,缺点就是它不是一个匹配debugger的查询,it does not allow broken analysis chains。

　　　　要使用这个高亮,必须打开字段的storeOffsetsWithPositions参数,不需要打开字段的termVectors,termPositions,termOffsets.因为这个高亮器不使用term向量。

 

　　例子测试

　　　　例子：http://localhost:8983/solr/test/select?hl=true&q=keyword:社交&wt=xml&hl.fl=keyword,wordCount&fl=id&hl.simple.pre=<font color='red'><b>&hl.simple.post=</b></font>

　　　　1、hl = true ：　　开启高亮，要高亮显示，首先设置为true

　　　　2、hl.fl=keyword,wordCount：　　高亮字段，这是要进行高亮显示的字段

　　　　3、hl.simple.pre = <font color='red'><b>  ：　　高亮单词的前缀标记，红色粗体

　　　　4、hl.simple.post=</b></font>：　　高亮单词的后缀标记

　　　　查询结果：

　　　　

 

　　java实现代码

 

package main.java;

import org.apache.solr.client.solrj.SolrClient;
import org.apache.solr.client.solrj.SolrQuery;
import org.apache.solr.client.solrj.SolrServerException;
import org.apache.solr.client.solrj.impl.HttpSolrClient;
import org.apache.solr.client.solrj.response.QueryResponse;


import java.io.IOException;
import java.util.*;
/**
 * @Author：sks
 * @Description：
 * @Date：Created in 17:03 2018/2/1
 * @Modified by：
 **/
public class highlight {
    public static void main(String[] args) throws SolrServerException,IOException {
        String urlString = "http://localhost:8983/solr/test";
        Init(urlString);
        getHighlightData();
    }

    private static SolrClient solr;

    /**
     * @Author：sks
     * @Description：初始化solr客户端
     * @Date：
     */
    public static void Init(String urlString){

        solr = new HttpSolrClient.Builder(urlString).build();
    }

    public static void getHighlightData() throws SolrServerException,IOException {
        SolrQuery params = new SolrQuery();
        //设置高亮
        params.setQuery("keyword:社交");
        params.setFields("id");
        //开启高亮设置
        params.setHighlight(true);
        //params.setParam("hl.mergeContiguous","true");
        params.setParam("hl.method","original");
        //params.setParam("hl.method","fastVector");
        //params.setParam("hl.useFastVectorHighligter","true");
        
        //params.setParam("hl.method","unified");

        //红色粗体显示
        //标签前缀
        params.setHighlightSimplePre("<font color='red'><b>");
        //标签后缀
        params.setHighlightSimplePost("</b></font>");
        //params.addHighlightField("text");
        //高亮字段
        params.addHighlightField("keyword");
        //高亮字段
        params.addHighlightField("wordCount");


        /**
         * @Fragsize: 参数是摘要信息的长度。默认值是100，这个长度是出现关键字的位置向前移6个字符，再往后100个字符，如果为0，那么该字段不会被fragmented且整个字段的值会被返回
         * @Snippets: 参数是返回高亮摘要的段数，因为我们的文本一般都比较长，含有搜索关键字的地方有多处，如果hl.snippets的值大于1的话
         * 会返回多个摘要信息，即文本中含有关键字的几段话，默认值为1，返回含关键字最多的一段描述。solr会对多个段进行排序
         */
        params.setHighlightSnippets(4);
        params.setHighlightFragsize(0);//如果为0，那么该字段不会被fragmented且整个字段的值会被返回

        QueryResponse response = solr.query(params);

        //高亮集合
        Map<String, Map<String, List<String>>> results = response.getHighlighting();
        Set<String> keys = results.keySet();
        Map<String, List<String>> innermap ;
        Set<String> innerkeys ;
        List<String> list ;
        for(String key:keys){
            System.out.println("id  =   " +key);
            innermap = results.get( key);
            innerkeys = innermap.keySet();
            for(String innerKey:innerkeys){
                list = innermap.get(innerKey);
                for (String kk:list){
                    System.out.println(innerKey +"  =   "+kk);
                }
            }
            System.out.println("\n");
        }
    }
}

 

 

　　输出结果

 

　　

　　参考：http://www.cnblogs.com/a198720/p/4344231.html