elasticsearch相关
es,倒排索引
倒排索引的概念是基于MySQL这样的正向索引而言的。
倒排索引中有两个非常重要的概念:
- 文档(`Document`):用来搜索的数据,其中的每一条数据就是一个文档。例如一个网页、一个商品信息
- 词条(`Term`):对文档数据或用户搜索数据,利用某种算法分词,得到的具备含义的词语就是词条。例如:我是中国人,就可以分为:我、是、中国人、中国、国人这样的几个词条
**创建倒排索引**是对正向索引的一种特殊处理,流程如下:
- 将每一个文档的数据利用算法分词,得到一个个词条
- 创建表,每行数据包括词条、词条所在文档id、位置等信息
- 因为词条唯一性,可以给词条创建索引,例如hash表结构索引
倒排索引的**搜索流程**如下(以搜索"华为手机"为例):
1)用户输入条件`"华为手机"`进行搜索。
2)对用户输入内容**分词**,得到词条:`华为`、`手机`。
3)拿着词条在倒排索引中查找,可以得到包含词条的文档id:1、2、3。
4)拿着文档id到正向索引中查找具体文档。
那么为什么一个叫做正向索引,一个叫做倒排索引呢?
- **正向索引**是最传统的,根据id索引的方式。但根据词条查询时,必须先逐条获取每个文档,然后判断文档中是否包含所需要的词条,是**根据文档找词条的过程**。
- 而**倒排索引**则相反,是先找到用户要搜索的词条,根据词条得到保护词条的文档的id,然后根据id获取文档。是**根据词条找文档的过程**。
**正向索引**:
- 优点:
- 可以给多个字段创建索引
- 根据索引字段搜索、排序速度非常快
- 缺点:
- 根据非索引字段,或者索引字段中的部分词条查找时,只能全表扫描。
**倒排索引**:
- 优点:
- 根据词条搜索、模糊搜索时,速度非常快
- 缺点:
- 只能给词条创建索引,而不是字段
- 无法根据字段做排序
- Mysql:擅长事务类型操作,可以确保数据的安全和一致性
- Elasticsearch:擅长海量数据的搜索、分析、计算
索引库的CRUD
1.创建索引库和映射
- 请求方式:PUT
- 请求路径:/索引库名,可以自定义
- 请求参数:mapping映射
案例:
PUT /heima { "mappings": { "properties": { "info":{ "type": "text", "analyzer": "ik_smart" }, "email":{ "type": "keyword", "index": false }, "name":{ "type": "keyword", "index": false } } } }
2.查询索引库
- 请求方式:GET
- 请求路径:/索引库名
- 请求参数:无
案例
GET /heima
3.修改索引库
倒排索引结构虽然不复杂,但是一旦数据结构改变(比如改变了分词器),就需要重新创建倒排索引,这简直是灾难。因此索引库**一旦创建,无法修改mapping**。
虽然无法修改mapping中已有的字段,但是却允许添加新的字段到mapping中,因为不会对倒排索引产生影响。
PUT /heima/_mapping { "properties":{ "sex":{//新字段名 "type": "keyword", "index": false } } }
4.删除索引库
- 请求方式:DELETE
- 请求路径:/索引库名
- 请求参数:无
DELETE /heima
文档操作
1.新增文档
POST /索引库名/_doc/文档id
{
"字段1": "值1",
"字段2": "值2",
"字段3": {
"子属性1": "值3",
"子属性2": "值4"
},
// ...
}
POST /heima/_doc/1 { "name":"李白", "sex":"男", "email":"gs@163.com", "info":"java开发程序员" }
2.查询文档
GET /{索引库名称}/_doc/{id}
GET /heima/_doc/1
3.删除文档
DELETE /{索引库名}/_doc/id值
DELETE /heima/_doc/1
4.修改文档
修改有两种方式:
- 全量修改:直接覆盖原来的文档
- 增量修改:修改文档中的部分字段
全量修改是覆盖原来的文档,其本质是:
- 根据指定的id删除文档
- 新增一个相同id的文档
PUT /{索引库名}/_doc/文档id { "字段1": "值1", "字段2": "值2", // ... 略 }
PUT /heima/_doc/2
{
"name":"张三",
"sex":"女",
"email":"zs@163.com",
"info":"python开发程序员"
}
增量修改是只修改指定id匹配的文档中的部分字段。
POST /{索引库名}/_update/文档id
{
"doc": {
"字段名": "新的值",
}
}
POST /heima/_update/1
{
"doc": {
"email":"zbc@163.com"
}
}
DSL查询文档
查询的语法基本一致:
GET /indexName/_search { "query": { "查询类型": { "查询条件": "条件值" } } }
1.查询所有,一般测试用,查询类型为match_all
GET /indexName/_search { "query": { "match_all": { } } }
案例:
GET /hotel/_search
{
"query": {
"match_all": {}
}
}
2.全文检索
全文检索查询的基本流程如下:
- 对用户搜索的内容做分词,得到词条
- 根据词条去倒排索引库中匹配,得到文档id
- 根据文档id找到文档,返回给用户
比较常用的场景包括:
- 商城的输入框搜索
- 百度输入框搜索
常见的全文检索查询包括:
- match查询:单字段查询
- multi_match查询:多字段查询,任意一个字段符合条件就算符合查询条件
match查询语法如下:
GET /indexName/_search { "query": { "match": { "FIELD": "TEXT" } } }
案例:
GET /hotel/_search
{
"query": {
"match": {
"name": "上海"
}
}
}
mulit_match语法如下:
GET /indexName/_search
{
"query": {
"multi_match": {
"query": "TEXT",
"fields": ["FIELD1", " FIELD12"]
}
}
}
案例:
GET /hotel/_search
{
"query": {
"multi_match": {
"query": "上海",
"fields": ["name","brand"]
}
}
}
3.精准查询
精确查询一般是查找keyword、数值、日期、boolean等类型字段。所以**不会**对搜索条件分词。常见的有:
- term:根据词条精确值查询
- range:根据值的范围查询
term查询
GET /indexName/_search { "query": { "term": { "FIELD": { "value": "VALUE" } } } }
案例:
GET /hotel/_search
{
"query": {
"term": {
"brand": {
"value": "皇冠假日"
}
}
}
}
range查询
GET /indexName/_search { "query": { "range": { "FIELD": { "gte": 10, // 这里的gte代表大于等于,gt则代表大于 "lte": 20 // lte代表小于等于,lt则代表小于 } } } }
示例:
GET /hotel/_search { "query": { "range": { "score": { "gte": 10, "lte": 60 } } } }
4.地理坐标查询
所谓的地理坐标查询,其实就是根据经纬度查询,官方文档:https://www.elastic.co/guide/en/elasticsearch/reference/current/geo-queries.html
常见的使用场景包括:
- 携程:搜索我附近的酒店
- 滴滴:搜索我附近的出租车
- 微信:搜索我附近的人
4.1.矩形范围查询
矩形范围查询,也就是geo_bounding_box查询,查询坐标落在某个矩形范围的所有文档:
查询时,需要指定矩形的**左上**、**右下**两个点的坐标,然后画出一个矩形,落在该矩形内的都是符合条件的点。
GET /indexName/_search { "query": { "geo_bounding_box": { "FIELD": { "top_left": { // 左上点 "lat": 31.1, "lon": 121.5 }, "bottom_right": { // 右下点 "lat": 30.9, "lon": 121.7 } } } } }
4.2.附近查询
附近查询,也叫做距离查询(geo_distance):查询到指定中心点小于某个距离值的所有文档。
换句话来说,在地图上找一个点作为圆心,以指定距离为半径,画一个圆,落在圆内的坐标都算符合条件:
GET /indexName/_search { "query": { "bool": { "must": { "match_all": {} }, "filter": { "geo_distance": { "distance": "200km",//半径 "Field": {//圆心 "lat": 40, "lon": -70 } } } } } }
案例:
GET /hotel/_search { "query": { "bool": { "must": [ {"match_all": {}} ], "filter": [ {"geo_distance": { "distance": "15km", "location": { "lat": 31.21, "lon": 121.5 } }} ] } } }
5.复合查询
复合(compound)查询:复合查询可以将其它简单查询组合起来,实现更复杂的搜索逻辑。常见的有两种:
- fuction score:算分函数查询,可以控制文档相关性算分,控制文档排名
- bool query:布尔查询,利用逻辑关系组合多个其它的查询,实现复杂搜索
5.1.相关性算分
当我们利用match查询时,文档结果会根据与搜索词条的关联度打分(_score),返回结果时按照分值降序排列。
5.2.算分函数查询
根据相关度打分是比较合理的需求,但合理的不一定是产品经理需要的。
以百度为例,你搜索的结果中,并不是相关度越高排名越靠前,而是谁掏的钱多排名就越靠前。
要想人为控制相关性算分,就需要利用elasticsearch中的function score 查询了。
function score 查询中包含四部分内容:
- 原始查询条件:query部分,基于这个条件搜索文档,并且基于BM25算法给文档打分,原始算分(query score)
- 过滤条件:filter部分,符合该条件的文档才会重新算分
- 算分函数:符合filter条件的文档要根据这个函数做运算,得到的函数算分(function score),有四种函数
- weight:函数结果是常量
- field_value_factor:以文档中的某个字段值作为函数结果
- random_score:以随机数作为函数结果
- script_score:自定义算分函数算法
- 运算模式:算分函数的结果、原始查询的相关性算分,两者之间的运算方式,包括:
- multiply:相乘
- replace:用function score替换query score
- 其它,例如:sum、avg、max、min
function score的运行流程如下:
- 1)根据**原始条件**查询搜索文档,并且计算相关性算分,称为**原始算分**(query score)
- 2)根据**过滤条件**,过滤文档
- 3)符合**过滤条件**的文档,基于**算分函数**运算,得到**函数算分**(function score)
- 4)将**原始算分**(query score)和**函数算分**(function score)基于**运算模式**做运算,得到最终结果,作为相关性算分。
因此,其中的关键点是:
- 过滤条件:决定哪些文档的算分被修改
- 算分函数:决定函数算分的算法
- 运算模式:决定最终算分结果
示例
需求:给“如家”这个品牌的酒店排名靠前一些
翻译一下这个需求,转换为之前说的四个要点:
- 原始条件:不确定,可以任意变化
- 过滤条件:brand = "如家"
- 算分函数:可以简单粗暴,直接给固定的算分结果,weight
- 运算模式:比如求和
GET /hotel/_search { "query": { "function_score": { "query": { .... }, // 原始查询,可以是任意条件 "functions": [ // 算分函数 { "filter": { // 满足的条件,品牌必须是如家 "term": { "brand": "如家" } }, "weight": 2 // 算分权重为2 } ], "boost_mode": "sum" // 加权模式,求和 } } }
案例:
GET /hotel/_search { "query": { "function_score": { "query": {"term": { "city": { "value": "上海" } }}, "functions": [ {"filter": { "term": { "brand": "如家" } },"weight": 2} ],"boost_mode": "sum" } } }
5.3.布尔查询
布尔查询是一个或多个查询子句的组合,每一个子句就是一个**子查询**。子查询的组合方式有:
- must:必须匹配每个子查询,类似“与”
- should:选择性匹配子查询,类似“或”
- must_not:必须不匹配,**不参与算分**,类似“非”
- filter:必须匹配,**不参与算分**
比如在搜索酒店时,除了关键字搜索外,我们还可能根据品牌、价格、城市等字段做过滤
每一个不同的字段,其查询的条件、方式都不一样,必须是多个不同的查询,而要组合这些查询,就必须用bool查询了。
需要注意的是,搜索时,参与**打分的字段越多,查询的性能也越差**。因此这种多条件查询时,建议这样做:
- 搜索框的关键字搜索,是全文检索查询,使用must查询,参与算分
- 其它过滤条件,采用filter查询。不参与算分
语法示例:
GET /hotel/_search { "query": { "bool": { "must": [ {"term": {"city": "上海" }} ], "should": [ {"term": {"brand": "皇冠假日" }}, {"term": {"brand": "华美达" }} ], "must_not": [ { "range": { "price": { "lte": 500 } }} ], "filter": [ { "range": {"score": { "gte": 45 } }} ] } } }
需求:搜索名字包含“如家”,价格不高于400,在坐标31.21,121.5周围10km范围内的酒店。
分析:
- 名称搜索,属于全文检索查询,应该参与算分。放到must中
- 价格不高于400,用range查询,属于过滤条件,不参与算分。放到must_not中
- 周围10km范围内,用geo_distance查询,属于过滤条件,不参与算分。放到filter中
GET /hotel/_search { "query": { "bool": { "must": [ {"match": { "name": "如家" }} ],"must_not": [ {"range": { "price": { "gte": 400 } }} ],"filter": [ {"geo_distance": { "distance": "10km", "location": { "lat": 31.21, "lon": 121.5 } }} ] } } }
2.搜索结果处理
搜索的结果可以按照用户指定的方式去处理或展示。
2.1.排序
elasticsearch默认是根据相关度算分(_score)来排序,但是也支持自定义方式对搜索[结果排序](https://www.elastic.co/guide/en/elasticsearch/reference/current/sort-search-results.html)。可以排序字段类型有:keyword类型、数值类型、地理坐标类型、日期类型等。
2.1.1.普通字段排序
keyword、数值、日期类型排序的语法基本一致。
GET /indexName/_search { "query": { "match_all": {} }, "sort": [ { "FIELD": "desc" // 排序字段、排序方式ASC、DESC } ] }
排序条件是一个数组,也就是可以写多个排序条件。按照声明的顺序,当第一个条件相等时,再按照第二个条件排序,以此类推
需求描述:酒店数据按照用户评价(score)降序排序,评价相同的按照价格(price)升序排序
GET /hotel/_search { "query": { "match_all": {} }, "sort": [ { "score": { "order": "desc" }, "price": { "order": "asc" } } ] }
2.1.2.地理坐标排序
GET /indexName/_search { "query": { "match_all": {} }, "sort": [ { "_geo_distance" : { "FIELD" : "纬度,经度", // 文档中geo_point类型的字段名、目标坐标点 "order" : "asc", // 排序方式 "unit" : "km" // 排序的距离单位 } } ] }
需求描述:实现对酒店数据按照到你的位置坐标的距离升序排序,假设我的位置是:31.034661,121.612282,寻找我周围距离最近的酒店。
案例:
GET /hotel/_search { "query": { "match_all": {} }, "sort": [ { "_geo_distance": { "location": { "lat": 31.034661, "lon": 121.612282 }, "order": "asc", "unit": "km" } } ] }
2.2.分页
elasticsearch 默认情况下只返回top10的数据。而如果要查询更多数据就需要修改分页参数了。elasticsearch中通过修改from、size参数来控制要返回的分页结果:
- from:从第几个文档开始
- size:总共查询几个文档
类似于mysql中的`limit ?, ?`
2.2.1.基本的分页
GET /hotel/_search { "query": { "match_all": {} }, "from": 0, // 分页开始的位置,默认为0 "size": 10, // 期望获取的文档总数 "sort": [ {"price": "asc"} ] }
案例:
GET /hotel/_search { "query": { "match_all": {} }, "from": 0, "size": 20, "sort": [ { "price": { "order": "asc" } } ] }
2.2.2.深度分页问题
查询990~1000的数据,查询逻辑要这么写:
GET /hotel/_search { "query": { "match_all": {} }, "from": 990, // 分页开始的位置,默认为0 "size": 10, // 期望获取的文档总数 "sort": [ {"price": "asc"} ] }
2.3.高亮
2.3.1.高亮原理
什么是高亮显示呢?
我们在百度,京东搜索时,关键字会变成红色,比较醒目,这叫高亮显示:
高亮显示的实现分为两步:
- 1)给文档中的所有关键字都添加一个标签,例如`<em>`标签
- 2)页面给`<em>`标签编写CSS样式
2.3.2.实现高亮
GET /hotel/_search { "query": { "match": { "FIELD": "TEXT" // 查询条件,高亮一定要使用全文检索查询 } }, "highlight": { "fields": { // 指定要高亮的字段 "FIELD": { "pre_tags": "<em>", // 用来标记高亮字段的前置标签 "post_tags": "</em>" // 用来标记高亮字段的后置标签 } } } }
案例:
GET /hotel/_search { "query": { "match": { "name": "酒店" } }, "highlight": { "fields": { "name": { "pre_tags": ["<em>"], "post_tags": ["</em>"] } } } }
3.RestClient查询文档
文档的查询同样适用 RestHighLevelClient对象,基本步骤包括:
- 1)准备Request对象
- 2)准备请求参数
- 3)发起请求
- 4)解析响应
3.1.1.发起查询请求
第一步,创建`SearchRequest`对象,指定索引库名
- 第二步,利用`request.source()`构建DSL,DSL中可以包含查询、分页、排序、高亮等
- `query()`:代表查询条件,利用`QueryBuilders.matchAllQuery()`构建一个match_all查询的DSL
- 第三步,利用client.search()发送请求,得到响应
@Test void testSearchRequest() throws IOException { SearchRequest request = new SearchRequest("hotel"); request.source().query(QueryBuilders.matchAllQuery()); SearchResponse response = client.search(request, RequestOptions.DEFAULT); handleResponse(response); }
3.1.2.解析响应
- `hits`:命中的结果
- `total`:总条数,其中的value是具体的总条数值
- `max_score`:所有结果中得分最高的文档的相关性算分
- `hits`:搜索结果的文档数组,其中的每个文档都是一个json对象
- `_source`:文档中的原始数据,也是json对象
因此,我们解析响应结果,就是逐层解析JSON字符串,流程如下:
- `SearchHits`:通过response.getHits()获取,就是JSON中的最外层的hits,代表命中的结果
- `SearchHits#getTotalHits().value`:获取总条数信息
- `SearchHits#getHits()`:获取SearchHit数组,也就是文档数组
- `SearchHit#getSourceAsString()`:获取文档结果中的_source,也就是原始的json文档数据
private void handleResponse(SearchResponse response) { // 4.解析响应 SearchHits searchHits = response.getHits(); // 4.1.获取总条数 long total = searchHits.getTotalHits().value; System.out.println("共搜索到" + total + "条数据"); // 4.2.文档数组 SearchHit[] hits = searchHits.getHits(); // 4.3.遍历 for (SearchHit hit : hits) { // 获取文档source String json = hit.getSourceAsString(); // 反序列化 HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class); System.out.println("hotelDoc = " + hotelDoc); } }
3.2.match查询
全文检索的match和multi_match查询与match_all的API基本一致。差别是查询条件,也就是query的部分。
@Test void testMatch() throws IOException { // 1.准备Request SearchRequest request = new SearchRequest("hotel"); // 2.准备DSL request.source() .query(QueryBuilders.matchQuery("all", "如家")); // 3.发送请求 SearchResponse response = client.search(request, RequestOptions.DEFAULT); // 4.解析响应 handleResponse(response); }
3.3.精确查询
精确查询主要是两者:
- term:词条精确匹配
- range:范围查询
与之前的查询相比,差异同样在查询条件,其它都一样。
@Test void testSearchTermRequest() throws IOException { SearchRequest request = new SearchRequest("hotel"); // request.source().query(QueryBuilders.termQuery("city","上海"));//term request.source().query(QueryBuilders.rangeQuery("price").lte(1000));//range SearchResponse response = client.search(request, RequestOptions.DEFAULT); handleResponse(response); }
3.4.布尔查询
布尔查询是用must、must_not、filter等方式组合其它查询
@Test
void testSearchBoolRequest() throws IOException {
SearchRequest request = new SearchRequest("hotel");
BoolQueryBuilder boolQuery = QueryBuilders.boolQuery();
boolQuery.must(QueryBuilders.termQuery("city","北京"));
boolQuery.filter(QueryBuilders.rangeQuery("price").lte(1000));
boolQuery.mustNot(QueryBuilders.rangeQuery("score").lte(30));
request.source().query(boolQuery);
SearchResponse response = client.search(request, RequestOptions.DEFAULT);
handleResponse(response);
}
3.5.排序、分页
搜索结果的排序和分页是与query同级的参数,因此同样是使用request.source()来设置。
@Test void testSearchPageRequest() throws IOException { SearchRequest request = new SearchRequest("hotel"); request.source().query(QueryBuilders.matchAllQuery()); int page = 1; int size = 5; request.source().sort("price", SortOrder.ASC); request.source().from((page - 1) * size).size(size); SearchResponse response = client.search(request, RequestOptions.DEFAULT); handleResponse(response); }
3.6.高亮
高亮的代码与之前代码差异较大,有两点:
- 查询的DSL:其中除了查询条件,还需要添加高亮条件,同样是与query同级。
- 结果解析:结果除了要解析_source文档数据,还要解析高亮结果
高亮查询必须使用全文检索查询,并且要有搜索关键字,将来才可以对关键字高亮。
3.6.1.高亮请求构建
@Test
void testSearchHighLightRequest() throws IOException {
SearchRequest request = new SearchRequest("hotel"); // 1.准备Request
request.source().query(QueryBuilders.matchQuery("all", "如家"));//query
request.source().highlighter(new HighlightBuilder().field("name").requireFieldMatch(false));//高亮
SearchResponse response = client.search(request, RequestOptions.DEFAULT);//发送请求
handleHighLightResponse(response);//解析响应
}
3.6.2.高亮结果解析
高亮的结果与查询的文档结果默认是分离的,并不在一起。
因此解析高亮的代码需要额外处理:
代码解读:
- 第一步:从结果中获取source。hit.getSourceAsString(),这部分是非高亮结果,json字符串。还需要反序列为HotelDoc对象
- 第二步:获取高亮结果。hit.getHighlightFields(),返回值是一个Map,key是高亮字段名称,值是HighlightField对象,代表高亮值
- 第三步:从map中根据高亮字段名称,获取高亮字段值对象HighlightField
- 第四步:从HighlightField中获取Fragments,并且转为字符串。这部分就是真正的高亮字符串了
- 第五步:用高亮的结果替换HotelDoc中的非高亮结果
private void handleHighLightResponse(SearchResponse response) { SearchHits searchHits = response.getHits(); // 4.1.总条数 long total = searchHits.getTotalHits().value; System.out.println("总条数:" + total); // 4.2.获取文档数组 SearchHit[] hits = searchHits.getHits(); // 4.3.遍历 for (SearchHit hit : hits) { // 4.4.获取source String json = hit.getSourceAsString(); // 4.5.反序列化,非高亮的 HotelDoc hotelDoc = JSON.parseObject(json, HotelDoc.class); // 4.6.处理高亮结果 // 1)获取高亮map Map<String, HighlightField> map = hit.getHighlightFields(); // 2)根据字段名,获取高亮结果 HighlightField highlightField = map.get("name"); // 3)获取高亮结果字符串数组中的第1个元素 String hName = highlightField.getFragments()[0].toString(); // 4)把高亮结果放到HotelDoc中 hotelDoc.setName(hName); // 4.7.打印 System.out.println(hotelDoc); } }
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· Manus重磅发布:全球首款通用AI代理技术深度解析与实战指南
· 被坑几百块钱后,我竟然真的恢复了删除的微信聊天记录!
· 没有Manus邀请码?试试免邀请码的MGX或者开源的OpenManus吧
· 园子的第一款AI主题卫衣上架——"HELLO! HOW CAN I ASSIST YOU TODAY
· 【自荐】一款简洁、开源的在线白板工具 Drawnix