ElasticSearch 实现分词全文检索 - Scroll 深分页

数据准备

ElasticSearch 实现分词全文检索 - 测试数据准备

深分页 Scroll

ES 对 from + size 有限制，两者之和不能超过1W
from + size 在 ES 查询数据的方式：

第一步：将用户指定的关键词进行分词
第二步：将词汇去词库中进行检索，得到多个文档id
第三步：去各个分片中拉取指定的数据【耗时较长】
第四步：根据score（匹配度）将数据进行排序，【耗时较长】
第五步：根据 from 的值，将查询到的数据舍弃一部分
第六步：返回结果

Scroll + size 在 ES 查询数据的方式：

第一步：将用户指定的关键词进行分词
第二步：将词汇去分词库中进行检索，得到多个文档的id
第三步：将文档的id存放在一个ES的上下文中(设定保存时间，过期后移除)
第四步：根据你指定的Size的个数去ES中检索指定个数的数据，拿到数据的文档id，会从上下文中移除
第五步：如果需要下一页数据，直接去ES的上下文中找后续的内容
第六步：循环第四步和第五步

Scroll查询方式，不适合做实时的查询,类似数据库中的游标，每次都是从数据文档中的ID去获取，效果高了，但文档中的ID（第二步）不是实时更新的，一般后台管理的方式用 Scroll 比较方便

Scroll不适合支持那种实时的和用户交互的前端分页工作，其主要用途用于从ES集群分批拉取大量结果集的情况，一般都是offline的应用场景。比如需要将非常大的结果集拉取出来，存放到其他系统处理，或者需要做大索引的reindex等等。

# scroll 查询，返回第一页数据，并且将文档id信息存放在ES上下文中，指定生存时间 1m
POST /sms-logs-index/_search?scroll=1m
{
  "query": {
    "match_all": {}
    },
    "size": 2,
    "sort": [
      {
        "fee": {  # 指定排序
          "order": "desc"
        }
      }
    ]
  }
}

# 根据scroll查询下一页数据,【第一步设置了1分钟，所以1分钟以后再执行就没有数据了】
POST /_search/scroll
{
  "scroll_id":"FGluY2x1ZGVfY29udGV4dF91dWlkDXF1ZXJ5QW5kRmV0Y2gBFEQ1VkNuSVlCR2xMYVQ1OExzNU1tAAAAAAADNlcWMEt3d2xrY3hRWGFoZFlwM01ZdnlCdw==",  #根据上一步查的结果提到scroll_id
  "scroll":"1m" #生存时间
}

# 删除scroll在ES上下文中的数据
DELETE /_search/scroll/FGluY2x1ZGVfY29udGV4dF91dWlkDXF1ZXJ5QW5kRmV0Y2gBFEQ1VkNuSVlCR2xMYVQ1OExzNU1tAAAAAAADNlcWMEt3d2xrY3hRWGFoZFlwM01ZdnlCdw==

Java

@Test
void scrollQuery() throws Exception {
    String indexName = "sms-logs-index";
    RestHighLevelClient client = ESClient.getClient();

    //1. 创建SearchRequest对象
    SearchRequest request = new SearchRequest(indexName);

    //2. 指定scroll信息
    request.scroll(TimeValue.timeValueMinutes(2L)); //1分钟过期

    //2. 指定查询条件
    SearchSourceBuilder builder = new SearchSourceBuilder();
    builder.size(4);
    builder.sort("fee", SortOrder.DESC);
    builder.query(QueryBuilders.matchAllQuery());
    request.source(builder);

    //4. 获取返回结果 scrollid,source
    SearchResponse resp = client.search(request, RequestOptions.DEFAULT);
    String scrollId = resp.getScrollId();
    System.out.println("-------首页----------");
    for (SearchHit hit : resp.getHits().getHits()) {
        System.out.println(hit.getSourceAsMap());
    }
    while (true) {
        System.out.println("ScrollId =>" + scrollId);
        //5. 循环 - 创建SearchScrollRequest
        SearchScrollRequest scrollRequest = new SearchScrollRequest(scrollId);

        //6. 指定 ScrollId
        scrollRequest.scroll(TimeValue.timeValueMinutes(1L));

        //7. 执行查询获取返回结果
        SearchResponse scrollResp = client.scroll(scrollRequest, RequestOptions.DEFAULT);

        //8. 判断是否查询到了数据，输出
        SearchHit[] hits = scrollResp.getHits().getHits();
        if (hits != null && hits.length > 0) {
            System.out.println("----------下一页---------");
            for (SearchHit hit : hits) {
                System.out.println(hit.getSourceAsMap());
            }
        } else {
            //9. 判断没有查询到数据 -  退出循环
            System.out.println("----------下一页---------");
            break;
        }
    }


    //10. 创建 ClearScrollRequest
    ClearScrollRequest clearScrollRequest = new ClearScrollRequest();
    //11. 指定 ScrollId
    clearScrollRequest.addScrollId(scrollId);
    //12. 删除 ScrollId
    ClearScrollResponse clearScrollResponse = client.clearScroll(clearScrollRequest, RequestOptions.DEFAULT);
    //13. 输出结果
    System.out.println("删除scroll: " + clearScrollResponse.isSucceeded());
}

posted @ 2023-03-14 15:16 VipSoft 阅读(368) 评论(0) 编辑收藏举报

刷新页面返回顶部

ElasticSearch 实现分词全文检索 - Scroll 深分页

目录

数据准备

深分页 Scroll

公告