使用RestHighLevelClient的3种分页实现

目录

1. from+size分页
   1.1 from+size的命令行实现
   1.2 from+size的RestHighLevelClient实现
2. scroll 分页
   2.1 scroll分页的命令行实现
   2.2 scroll的RestHighLevelClient实现
3. search_after分页
   3.1 search_after的命令行实现
   3.2 search_after的的RestHighLevelClient实现
4. 总结

正文

ES作为数据源的分页查询。 数据量如果过大，使用浅分页可能会引发性能问题，可以考虑search_after深分页，当然是要根据具体业务场景进行分析。

分页一般有三种方式：

1. es默认采用的是from+size形式，在深度分页的情况下，这种效率是非常低的，但是可以随机跳转页面；
2. scroll search 方式（滚动搜索），官方的建议并不是用于实时的请求，因为每一个 scroll_id 不仅会占用大量的资源（特别是排序的请求），而且是生成的历史快照，对于数据的变更不会反映到快照上。这种方式往往用于非实时处理大量数据的情况，比如要进行数据迁移或者索引变更之类的。
3. search_after方式（滚动搜索），可以在实时的情况下处理深度分页，在Es5.x版本后提供的功能，search_after缺点是不能够随机跳转分页，只能是一页一页的向后翻，并且需要至少指定一个唯一不重复字段来排序。

1. from+size分页

Es封装RestHighLevelClient和BulkProcessor的工具类

1.1 from+size的命令行实现

GET /test_demo/_search
{
  "query":{
    "match_all": {}
  },
  "from":5000,
  "size":10
}

上面意味着es需要在各个分片上匹配排序并得到5010条数据，协调节点拿到这些数据再进行排序，然后结果集中取最后10条数据返回。

上述语句性能低的原因：我们只需要10条数据，而es每个分片都需要执行from+size条数据然后处理后返回。

es为了性能，会限制我们分页的深度，es目前支持最大的max_result_window = 10000，也就是from+size的大小不能超过10000。

 

image.png

1.2 from+size的RestHighLevelClient实现

    /**
     * 浅分页查询
     *
     * @throws IOException
     */
    public static void testPage() throws IOException {
        SearchRequest searchRequest = new SearchRequest();
        SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
        //排序条件
        searchSourceBuilder.sort("id", SortOrder.ASC);
        searchSourceBuilder.sort("publishTime", SortOrder.DESC);
        //分页查询
        searchSourceBuilder.from(2);
        searchSourceBuilder.size(2);
        EsUtil.remoteSearch(searchRequest, searchSourceBuilder);
    }

2. scroll 分页

在es中我们分页要请求大数据集或者一次请求要获取大的数据集，scroll[skrəʊl]都是一种非常好的解决方案。

scroll也是滚动搜索。会在第一次搜索的时候，保存一个当时的快照。之后只会基于该旧的视图快照提供数据搜索。在这个期间发生变动，是不会让用户看到的。

官方的建议并不是用于实时的请求，因为每一个 scroll_id 不仅会占用大量的资源（特别是排序的请求），而且是生成的历史快照，对于数据的变更不会反映到快照上。这种方式往往用于非实时处理大量数据的情况，比如要进行数据迁移或者索引变更之类的。

2.1 scroll分页的命令行实现

• 第一步：进行搜索，生成scrollId。

GET test_demo/_search?scroll=1m
{
    "size":2,
    "query":{
        "terms":{
            "tag":[
                "疫情"
            ],
            "boost":"1.0"
        }
    }
}

• 后续在使用第一步生成的scrollId进行滚动查询。

POST /_search/scroll
{
  "scroll": "5m",
  "scroll_id": "DXF1ZXJ5QW5kRmV0Y2gBAAAAAAAylJEWQ3Z4cHRTRzVTeXVqRG9YY1R5Q3hYdw=="
}

2.2 scroll的RestHighLevelClient实现

    public static void testScroll() throws IOException {
        SearchRequest searchRequest = new SearchRequest();

        //失效时间为1min
        Scroll scroll = new Scroll(TimeValue.timeValueMinutes(1));
        //封存快照
        searchRequest.scroll(scroll);
        /**
         * 查询条件
         */
        SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
        TermQueryBuilder termQueryBuilder = QueryBuilders.termQuery("tag", "疫情");
        searchSourceBuilder.query(termQueryBuilder);
        /**
         * 分页参数
         */
        searchSourceBuilder.size(2);
        searchRequest.indices("test_demo");

        //放入文档中
        searchRequest.source(searchSourceBuilder);

        log.info("dsl:" + searchSourceBuilder.toString());
        //远程查询
        SearchResponse searchResponse = EsUtil.getRestHighLevelClient().search(searchRequest, RequestOptions.DEFAULT);
        //元素数量
        Iterator<SearchHit> it1 = searchResponse.getHits().iterator();
        while (it1.hasNext()) {
            SearchHit next = it1.next();
            log.info("输出数据:" + next.getSourceAsString());
        }
        log.info("=======================||");
        //计算总数量
        long totalCount = searchResponse.getHits().getTotalHits().value;
        //得到总页数
        int page = (int) Math.ceil((float) totalCount / 2);
        //多次遍历分页，获取结果
        String scrollId = searchResponse.getScrollId();
        for (int i = 1; i <= page; i++) {
            //获取到该id
            SearchScrollRequest searchScrollRequest = new SearchScrollRequest(scrollId);
            searchScrollRequest.scroll(scroll);
            SearchResponse response = EsUtil.getRestHighLevelClient().scroll(searchScrollRequest, RequestOptions.DEFAULT);
            //打印数据
            SearchHits hits = response.getHits();
            scrollId = response.getScrollId();
            Iterator<SearchHit> iterator = hits.iterator();
            while (iterator.hasNext()) {
                SearchHit next = iterator.next();
                log.info("输出数据:" + next.getSourceAsString());
            }
            log.info("=======================");
        }
    }

3. search_after分页

可以在实时的情况下处理深度分页，在Es5.x版本后提供的功能，search_after缺点是不能够随机跳转分页，只能是一页一页的向后翻，并且需要至少指定一个唯一不重复字段来排序。

3.1 search_after的命令行实现

注意：search_after必须指定一个唯一不重复的字段来排序，此处我们指定了两个字段进行排序，

该例子：id是唯一不重复字段，publishTime可能会重复。

GET test_demo/_search
{
  "query": {
    "match_all": {
      
    }
  },
    "size": 2,
    "sort":[
      {"id":"asc"},
      {"publishTime":"desc"}
    ]
}

 

image.png

注意，结果返回的sort字段，存储的是最后一组的排序字段的值，而search_after在下次搜索时，需要携带该数据。

 

image.png

最终完成了滚动分页操作。

3.2 search_after的的RestHighLevelClient实现

    public static void testSearchAfter() throws IOException {
        SearchRequest searchRequest = new SearchRequest();
        SearchSourceBuilder searchSourceBuilder = new SearchSourceBuilder();
        //排序条件
        searchSourceBuilder.sort("id", SortOrder.ASC);
        searchSourceBuilder.sort("publishTime", SortOrder.DESC);
        //分页查询
        searchSourceBuilder.size(2);
        List<SearchHit> remoteSearch = EsUtil.remoteSearch(searchRequest, searchSourceBuilder);
        //查询最后一笔数据
        SearchHit result = remoteSearch.get(remoteSearch.size() - 1);
        //序列化为对象
        //分页查询下一页数据
        log.info("=====================下一页============================");
        SearchRequest searchRequest2 = new SearchRequest();
        SearchSourceBuilder searchSourceBuilder2 = new SearchSourceBuilder();
        //排序条件
        searchSourceBuilder2.sort("id", SortOrder.ASC);
        searchSourceBuilder2.sort("publishTime", SortOrder.DESC);

        //存储上一次分页的sort信息
        searchSourceBuilder2.searchAfter(result.getSortValues());
        searchSourceBuilder2.size(2);
        EsUtil.remoteSearch(searchRequest2, searchSourceBuilder2);
    }

4. 总结