ElasticSearch常用的查询操作
一、相关概念
Index(索引)【同样是名词这里与mysql中的索引还是有区别的】
Index是名词的时候就是我们平时理解的索引,好比导航一个可以方便我们查询,但在es中Index(索引)常常是一个动词应该被理解为添加。索引是一些具有相似特征的文档集合,类似于MySql中数据库的概念。
Near Realtime(近实时)
Elasticsearch是一个近乎实时的搜索平台,这意味着从索引文档到可搜索文档之间只有一个轻微的延迟(通常是一秒钟)。
Cluster(集群)
群集是一个或多个节点的集合,它们一起保存整个数据,并提供跨所有节点的联合索引和搜索功能。每个群集都有自己的唯一群集名称,节点通过名称加入群集。(集群分为主节点和从节点)
Node(节点)
节点是指属于集群的单个Elasticsearch实例,elasticsearch 是java编写的,所以每个节点本质上都是一个java进程,每个节点存储数据并参与集群的索引和搜索功能。可以将节点配置为按集群名称加入特定集群,默认情况下,每个节点都设置为加入一个名为elasticsearch的群集。
Type(类型)
类型是索引的逻辑类别分区,通常,为具有一组公共字段的文档类型,类似MySql中表的概念。注意:在Elasticsearch 6.0.0及更高的版本中,一个索引只能包含一个类型(_doc)。
Document(文档)
文档是可被索引的基本信息单位,以JSON形式表示,类似于MySql中行记录的概念,即一条信息就是一个文档。
Feilds(列 column)
ES允许同一个字段有两个不同的类型,例如一个字段可以拥有keyword类型来进行聚合与排序,也可以拥有text来做全文检索。
Shards(分片)
当索引存储大量数据时,可能会超出单个节点的硬件限制,为了解决这个问题,Elasticsearch提供了将索引细分为分片的概念。分片机制赋予了索引水平扩容的能力、并允许跨分片分发和并行化操作,从而提高性能和吞吐量。
Replicas(副本)
在可能出现故障的网络环境中,需要有一个故障切换机制,Elasticsearch提供了将索引的分片复制为一个或多个副本的功能,副本在某些节点失效的情况下提供高可用性。
文档的元数据用于标注稳定的相关信息(_index -文档所属的索引名,_type -文档所属的类型名,_source-文档的原始Json数据,_version-文档的版本,_score-相关性得分)
二、简单操作
1、索引操作(index)
1)查看索引信息
GET /_cat/indices?v
2)创建索引
PUT /customer
3)删除索引
DELETE /customer
2、文档操作(document)
1)添加或者修改索引
PUT /customer/_doc/1 { "name": "John Doe" }
2)查看索引中的文档
GET /customer/_doc/1
3)修改索引中的文档
POST /customer/_doc/1/_update { "doc": { "name": "Jane Doe" } }
4)删除索引中的文档
DELETE /customer/_doc/1
5)批量添加
POST /_bulk { "create" : { "_index" : "wxkj", "_type" : "user", "_id" : "1" } } {"name":"jjl","age":30} { "create" : { "_index" : "wxkj", "_type" : "user", "_id" : "2" } } {"name":"xb","age":40}
3、数据搜索(对index下的document操作)
bank为索引名
1)查询所有数据
GET /bank/_search
{ "query": { "match_all": {} } }
2)分页搜索,from表示偏移量,从0开始,size表示每页显示的数量
GET /bank/_search { "query": { "match_all": {} }, "from": 0, "size": 10 }
3)搜索排序,使用sort表示,例如按balance字段降序排列
GET /bank/_search { "query": { "match_all": {} }, "sort": { "balance": { "order": "desc" } } }
4)搜索并返回指定字段内容,使用_source表示,例如只返回account_number和balance两个字段内容
GET /bank/_search { "query": { "match_all": {} }, "sort": { "balance": { "order": "desc" } }, "_source": ["account_number", "balance"] }
5)条件搜索,使用match表示匹配条件,例如搜索出account_number为20的文档
GET /bank/_search { "query": { "match": { "account_number": 20 } } }
6)文本类型字段的条件搜索,例如搜索address字段中包含mill的文档,对比上一条搜索可以发现,对于数值类型match操作使用的是精确匹配,对于文本类型(text)使用的是模糊匹配
GET /bank/_search { "query": { "match": { "address": "mill" } }, "_source": [ "address", "account_number" ] }
7)短语匹配搜索,使用match_phrase表示,例如搜索address字段中同时包含mill和lane的文档
GET /bank/_search { "query": { "match_phrase": { "address": "mill lane" } } }
8)组合搜索,使用bool来进行组合,must表示同时满足,例如搜索address字段中同时包含mill和lane的文档
GET /bank/_search { "query": { "bool": { "must": [ { "match": { "address": "mill" } }, { "match": { "address": "lane" } } ] } } }
9)组合搜索,should表示满足其中任意一个,搜索address字段中包含mill或者lane的文档
GET /bank/_search { "query": { "bool": { "should": [ { "match": { "address": "mill" } }, { "match": { "address": "lane" } } ] } } }
10)组合搜索,must_not表示同时不满足,例如搜索address字段中不包含mill且不包含lane的文档
GET /bank/_search { "query": { "bool": { "must_not": [ { "match": { "address": "mill" } }, { "match": { "address": "lane" } } ] } } }
11)组合搜索,组合must和must_not,例如搜索age字段等于40且state字段不包含ID的文档
GET /bank/_search { "query": { "bool": { "must": [ { "match": { "age": "40" } } ], "must_not": [ { "match": { "state": "ID" } } ] } } }
4. 过滤搜索
1)搜索过滤,使用filter来表示,例如过滤出balance字段在20000~30000的文档
GET /bank/_search { "query": { "bool": { "must": { "match_all": {} }, "filter": { "range": { "balance": { "gte": 20000, "lte": 30000 } } } } } }
5、搜索聚合
1)对搜索结果进行聚合,使用aggs来表示,类似于MySql中的group by,例如对state字段进行聚合,统计出相同state的文档数量
GET /bank/_search { "size": 0, "aggs": { "group_by_state": { "terms": { "field": "state.keyword" } } } }
2)嵌套聚合,例如对state字段进行聚合,统计出相同state的文档数量,再统计出balance的平均值
GET /bank/_search { "size": 0, "aggs": { "group_by_state": { "terms": { "field": "state.keyword" }, "aggs": { "average_balance": { "avg": { "field": "balance" } } } } } }
3)对聚合搜索的结果进行排序,例如按balance的平均值降序排列
GET /bank/_search { "size": 0, "aggs": { "group_by_state": { "terms": { "field": "state.keyword", "order": { "average_balance": "desc" } }, "aggs": { "average_balance": { "avg": { "field": "balance" } } } } } }
4)按字段值的范围进行分段聚合,例如分段范围为age字段的[20,30] [30,40] [40,50],之后按gender统计文档个数和balance的平均值
GET /bank/_search { "size": 0, "aggs": { "group_by_age": { "range": { "field": "age", "ranges": [ { "from": 20, "to": 30 }, { "from": 30, "to": 40 }, { "from": 40, "to": 50 } ] }, "aggs": { "group_by_gender": { "terms": { "field": "gender.keyword" }, "aggs": { "average_balance": { "avg": { "field": "balance" } } } } } } } }