ElasticSearch常用的查询操作

一、相关概念

Index（索引）【同样是名词这里与mysql中的索引还是有区别的】

　　Index是名词的时候就是我们平时理解的索引，好比导航一个可以方便我们查询，但在es中Index（索引）常常是一个动词应该被理解为添加。索引是一些具有相似特征的文档集合，类似于MySql中数据库的概念。

Near Realtime（近实时）

　　Elasticsearch是一个近乎实时的搜索平台，这意味着从索引文档到可搜索文档之间只有一个轻微的延迟(通常是一秒钟)。

Cluster（集群）

　　群集是一个或多个节点的集合，它们一起保存整个数据，并提供跨所有节点的联合索引和搜索功能。每个群集都有自己的唯一群集名称，节点通过名称加入群集。（集群分为主节点和从节点）

Node（节点）

　　节点是指属于集群的单个Elasticsearch实例，elasticsearch 是java编写的，所以每个节点本质上都是一个java进程，每个节点存储数据并参与集群的索引和搜索功能。可以将节点配置为按集群名称加入特定集群，默认情况下，每个节点都设置为加入一个名为elasticsearch的群集。

Type（类型）

　　类型是索引的逻辑类别分区，通常，为具有一组公共字段的文档类型，类似MySql中表的概念。注意：在Elasticsearch 6.0.0及更高的版本中，一个索引只能包含一个类型（_doc）。

Document（文档）

　　文档是可被索引的基本信息单位，以JSON形式表示，类似于MySql中行记录的概念，即一条信息就是一个文档。

Feilds（列 column）

　　ES允许同一个字段有两个不同的类型，例如一个字段可以拥有keyword类型来进行聚合与排序，也可以拥有text来做全文检索。

Shards（分片）

　　当索引存储大量数据时，可能会超出单个节点的硬件限制，为了解决这个问题，Elasticsearch提供了将索引细分为分片的概念。分片机制赋予了索引水平扩容的能力、并允许跨分片分发和并行化操作，从而提高性能和吞吐量。

Replicas（副本）

　　在可能出现故障的网络环境中，需要有一个故障切换机制，Elasticsearch提供了将索引的分片复制为一个或多个副本的功能，副本在某些节点失效的情况下提供高可用性。

文档的元数据用于标注稳定的相关信息（_index -文档所属的索引名，_type -文档所属的类型名，_source-文档的原始Json数据，_version-文档的版本，_score-相关性得分）

二、简单操作

1、索引操作（index）

　　1）查看索引信息

GET /_cat/indices?v

　　2）创建索引

PUT /customer

　　3）删除索引

DELETE /customer

2、文档操作（document）

　　1）添加或者修改索引

PUT /customer/_doc/1
{
  "name": "John Doe"
}

　　2）查看索引中的文档

GET /customer/_doc/1

　　3）修改索引中的文档

POST /customer/_doc/1/_update
{
  "doc": { "name": "Jane Doe" }
}

　　4）删除索引中的文档

DELETE /customer/_doc/1

 　  5）批量添加

POST /_bulk
{ "create" : { "_index" : "wxkj", "_type" : "user", "_id" : "1" } }
{"name":"jjl","age":30}
{ "create" : { "_index" : "wxkj", "_type" : "user", "_id" : "2" } }
{"name":"xb","age":40}

 

3、数据搜索（对index下的document操作）

　　bank为索引名

　　1）查询所有数据

GET /bank/_search
 { "query": { "match_all": {} } }

　　2）分页搜索，from表示偏移量，从0开始，size表示每页显示的数量

GET /bank/_search
{
  "query": { "match_all": {} },
  "from": 0,
  "size": 10
}

　　3）搜索排序，使用sort表示，例如按balance字段降序排列

GET /bank/_search
{
  "query": { "match_all": {} },
  "sort": { "balance": { "order": "desc" } }
}

　　4）搜索并返回指定字段内容，使用_source表示，例如只返回account_number和balance两个字段内容

GET /bank/_search
{
  "query": { "match_all": {} },
  "sort": { "balance": { "order": "desc" } 
    
  },
  "_source": ["account_number", "balance"]
  
}

　　5）条件搜索，使用match表示匹配条件，例如搜索出account_number为20的文档

GET /bank/_search
{
  "query": {
    "match": {
      "account_number": 20
    }
  }
}

　　6）文本类型字段的条件搜索，例如搜索address字段中包含mill的文档，对比上一条搜索可以发现，对于数值类型match操作使用的是精确匹配，对于文本类型(text)使用的是模糊匹配

GET /bank/_search
{
  "query": {
    "match": {
      "address": "mill"
    }
  },
  "_source": [
    "address",
    "account_number"
  ]
}

　　7）短语匹配搜索，使用match_phrase表示，例如搜索address字段中同时包含mill和lane的文档

GET /bank/_search
{
  "query": {
    "match_phrase": {
      "address": "mill lane"
    }
  }
}

　　8）组合搜索，使用bool来进行组合，must表示同时满足，例如搜索address字段中同时包含mill和lane的文档

GET /bank/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}

　　9）组合搜索，should表示满足其中任意一个，搜索address字段中包含mill或者lane的文档

GET /bank/_search
{
  "query": {
    "bool": {
      "should": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}

　　10）组合搜索，must_not表示同时不满足，例如搜索address字段中不包含mill且不包含lane的文档

GET /bank/_search
{
  "query": {
    "bool": {
      "must_not": [
        { "match": { "address": "mill" } },
        { "match": { "address": "lane" } }
      ]
    }
  }
}

　　11）组合搜索，组合must和must_not，例如搜索age字段等于40且state字段不包含ID的文档

GET /bank/_search
{
  "query": {
    "bool": {
      "must": [
        { "match": { "age": "40" } }
      ],
      "must_not": [
        { "match": { "state": "ID" } }
      ]
    }
  }
}

 

4. 过滤搜索

　　1）搜索过滤，使用filter来表示，例如过滤出balance字段在20000~30000的文档

GET /bank/_search
{
  "query": {
    "bool": {
      "must": { "match_all": {} },
      "filter": {
        "range": {
          "balance": {
            "gte": 20000,
            "lte": 30000
          }
        }
      }
    }
  }
}

 

5、搜索聚合

　　1）对搜索结果进行聚合，使用aggs来表示，类似于MySql中的group by，例如对state字段进行聚合，统计出相同state的文档数量

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_state": {
      "terms": {
        "field": "state.keyword"
      }
    }
  }
}

　　2）嵌套聚合，例如对state字段进行聚合，统计出相同state的文档数量，再统计出balance的平均值

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_state": {
      "terms": {
        "field": "state.keyword"
      },
      "aggs": {
        "average_balance": {
          "avg": {
            "field": "balance"
          }
        }
      }
    }
  }
}

　　3）对聚合搜索的结果进行排序，例如按balance的平均值降序排列

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_state": {
      "terms": {
        "field": "state.keyword",
        "order": {
          "average_balance": "desc"
        }
      },
      "aggs": {
        "average_balance": {
          "avg": {
            "field": "balance"
          }
        }
      }
    }
  }
}

　　4）按字段值的范围进行分段聚合，例如分段范围为age字段的[20,30] [30,40] [40,50]，之后按gender统计文档个数和balance的平均值

GET /bank/_search
{
  "size": 0,
  "aggs": {
    "group_by_age": {
      "range": {
        "field": "age",
        "ranges": [
          {
            "from": 20,
            "to": 30
          },
          {
            "from": 30,
            "to": 40
          },
          {
            "from": 40,
            "to": 50
          }
        ]
      },
      "aggs": {
        "group_by_gender": {
          "terms": {
            "field": "gender.keyword"
          },
          "aggs": {
            "average_balance": {
              "avg": {
                "field": "balance"
              }
            }
          }
        }
      }
    }
  }
}