ES3: elasticsearch doucument 增删改查

1、新增document

　　在索引中增加文档。在index中增加document。

　　ES有自动识别机制。如果增加的document对应的index不存在。自动创建，如果index存在，type不存在自动创建。如果index和type都存在，则使用现有的。

　　put语法新增：

　　此操作为手工指定id的document新增方式

　　PUT /index_name/type_name/id{field_name:field_value}

PUT test_index/my_type/1
{
  "name":"test_doc_01",
  "remark":"first test elastic search",
  "order_no":1
  
}

返回值说明：

{
  "_index": "test_index",  # 新增的document在什么index中
  "_type": "my_type",  # 新增的document在index中的哪一个type中
  "_id": "1", # 指定的id是多少
  "_version": 7, #版本号(每次有增删改操作，版本+1)
  "result": "updated", # 执行结果 created 新增成功 updated 修改成功 deleted 删除成功 
  "_shards": { # 分片信息
    "total": 2, #分片数量只提示primary shard
    "successful": 2, #数据document一定只存放在index中的某一个primary shard中 replica shard 中也会执行  1+1=2
    "failed": 0
  },
  "_seq_no": 6, #执行的序列号
  "_primary_term": 1 #词条比对
}

　　POST 语法：

　　此操作作为ES自动生成id的新增Document方式。

　　语法： POST /index_name/type_name{"field_name":"filed_value"}

POST test_index/my_type
{
  "name":"post create first",
  "remark":"post remark first",
  "order_no":4
}

　　注意：在ES中，一个index中的所有type类型的Document是存储在一起的，如果index中的不同的type之间的field差别太大，也会影响到磁盘的存储结构和存储空间的占用。如：test_index中有test_type1和test_type2两个不同的类型，type1中的document结构为：{"_id":"1","f1":"v1","f2":"v2"}，type2中的document结构为：{"_id":"2","f3":"v3","f4":"v4"}，那么ES在存储的时候，统一的存储方式是{"_id":"1","f1":"v1","f2":"v2","f3":"","f4":""}, {"_id":"2","f1":"","f2":"","f3":"v3","f4","v4"}、建议，每个index中存储的document结构不要有太大的差别。尽量控制在总计字段数据的10%以内。

2、查询document

　　GET 方式查询

　　GET /index_name/type_name/id

　　如： GET /test_index/my_type/1

结果：

{
  "_index": "test_index",
  "_type": "my_type",
  "_id": "1",
  "_version": 7,
  "found": true,
  "_source": {  # 找到document的数据内容
    "name": "test_doc_01",
    "remark": "first test elastic search",
    "order_no": 1
  }
}

　　GET _mget 批量查询

　　批量查询可以提高查询效率。推荐使用（相对于单数据查询来说）

GET /_mget
{
  "docs" : [
      {
        "_index":"test_index",
        "_type":"my_type",
        "_id":"1"
      }, {
        "_index":"test_index",
        "_type":"my_type",
        "_id":"2"
      }
    ]
}

GET test_index/_mget
{
  "docs" :[
      {
        "_type":"my_type",
        "_id":"1"
      }, {
        "_type":"my_type",
        "_id":"2"
      }
    ]
}

GET test_index/my_type/_mget
{
  "docs":[
      {
        "_id":"1"
      }, {
        "_id":"2"
      }
    ]
}

3、修改document

　　PUT 替换document(全量替换)

　　和新增PUT语法是一样的

　　PUT /index_name/type_name/id{field_name:field_value}

　　要求新数据的字段信息和原数据的字段信息一致。也就是必须包括Document中的所有field才行。本操作相当于覆盖操作。全量替换的过程中，ES不会真的修改Document中的数据，而是标记ES中原有的Document为deleted状态，再创建一个新的Document来存储数据，当ES中的数据量过大时，ES后台回收deleted状态的Document（现阶段理解，后续课程中会详细说明）。

PUT test_index/my_type/1
{
  "name":"test_doc_01_bak",
  "remark":"first test elastic search_bak"
  
}

再次查询数据得到值:GET test_index/my_type/3

{
  "_index": "test_index",
  "_type": "my_type",
  "_id": "3",
  "_version": 2,
  "found": true,
  "_source": {
    "name": "test_doc_01_bak",
    "remark": "first test elastic search_bak"
　　# order_no 已被替换掉
  }
}

　　PUT语法强制新增

　　如果使用PUT语法对同一个Document执行多次操作。是一种全量替换操作。如果需要ES辅助检查PUT的Document是否已存在，可以使用强制新增语法。

　　使用强制新增语法时，如果Document的id在ES中已存在，则会报错。（version conflict, document already exists）

　　语法：

　　PUT /index_name/type_name/id/_create{"field_name":"field_value"}

　　或：

　　put /index_name/type_name/id?op_type=create{"field_name":"field_value"}

PUT test_index/my_type/04/_create
{
  "name":"fore_doc_04",
  "remark":"fore test elastic search",
  "order_no":4
}
# 返回：

{
  "_index": "test_index",
  "_type": "my_type",
  "_id": "04",
  "_version": 1,
  "result": "created",
  "_shards": {
    "total": 2,
    "successful": 2,
    "failed": 0
  },
  "_seq_no": 0,
  "_primary_term": 2
}

?op_type=create

PUT test_index/my_type/04?op_type=create
{
  "name":"fore_doc_04",
  "remark":"fore test elastic search",
  "order_no":4
}

# 返回：

{
  "error": {
    "root_cause": [
      {
        "type": "version_conflict_engine_exception",
        "reason": "[my_type][04]: version conflict, document already exists (current version [1])",
        "index_uuid": "oGaO5Tt_TjGPGm4X6R4rnQ",
        "shard": "1",
        "index": "test_index"
      }
    ],
    "type": "version_conflict_engine_exception",
    "reason": "[my_type][04]: version conflict, document already exists (current version [1])",
    "index_uuid": "oGaO5Tt_TjGPGm4X6R4rnQ",
    "shard": "1",
    "index": "test_index"
  },
  "status": 409
}

　　POST 更新document(partial update)

　　POST /index_name/type_name/id?_update{"field_name":"field_value"}

　　只更新某Document中的部分字段。这种更新方式也是标记原有数据为deleted状态，创建一个新的Document数据，将新的字段和未更新的原有字段组成这个新的Document，并创建。对比全量替换而言，只是操作上的方便，在底层执行上几乎没有区别。

POST test_index/my_type/05/_update
{
  "doc": {
    "name":"five_doc_05_bak"  # 只会更新字段name
  }
}

4、删除document

　　ES中执行删除操作时，ES先标记Document为deleted状态，而不是直接物理删除。当ES存储空间不足或工作空闲时，才会执行物理删除操作。标记为deleted状态的数据不会被查询搜索到。

ES中删除index，也是标记。后续才会执行物理删除。所有的标记动作都是为了NRT实现（近实时）。

　　DELETE /index_name/type_name/id

DELETE test_index/my_type/05

# 返回：

{
  "_index": "test_index",
  "_type": "my_type",
  "_id": "05",
  "_version": 3,
  "result": "deleted",
  "_shards": {
    "total": 2,
    "successful": 2,
    "failed": 0
  },
  "_seq_no": 3,
  "_primary_term": 2
}

5、bulk批量增删改

　　使用bulk语法执行批量增删改。语法格式如下

　　POST /_bulk

　　{"action_type":{"metadata_name":"metadata_value"}}

　　{documents data | action datas}

　　语法中的action_type可选值为：

　　create:强制创建，相当于 PUT/index_name/type_name/id/_create

　　index:普通的put操作，相当于创建Document或全量替换

　　update:更新操作(partial update), 相当于 POST /index_name/type_name/id/_update{"filed_name":"field_value"}

　　delete: 删除操作

　　案例如下：下述案例中将所有的操作语法分离了。可以一次性执行增删改的所有功能。最后的语法是批量操作语法

POST /_bulk
{"create":{"_index":"test_index","_type":"my_type","_id":"06"}}
{"name":"name6","remark":"remark6","order_no":"06"}
{"index":{"_index":"test_index","_type":"my_type","_id":"06"}}
{"name":"name6_bak","remark":"remark06_bak","order_no":"06"}
{"create":{"_index":"test_index","_type":"my_type","_id":"06"}}
{"name":"name_cover"}
{"update":{"_index":"test_index","_type":"my_type","_id":"06"}}
{"doc":{"name":"name6 partial update"}}
{"delete":{"_index":"test_index","_type":"my_type","_id":"05"}}

6、 Document routing 机制

　　ES对Document的管理有一个路由算法，这种算法决定了Document存放在哪一个primary shard中。算法为：primary shard = hash(routing) % number_of_primary_shards。其中的routing默认为Document中的元数据_id，也可以手工指定routing的值，指定方式为：PUT /index_name/type_name/id?routing=xxx。手工指定routing在海量数据中非常有用，通过手工指定的routing，ES会将相关联的Document存储在同一个shard中，方便后期进行应用级别的负载均衡并可以提高数据检索的效率。如：存电商中的商品，使用商品类型的编号作为routing，ES会把同一个类型的商品document数据，存在同一个shard中。查询的时候，同一个类型的商品，在一个shard上查询，效率最高。

　　如果是写操作。计算routing结果后，决定本次写操作定位到哪一个primary shard分片上，primary shard 分片写成功后，自动同步到对应replica shard上。如果是读操作，计算routing结果后，决定本次读操作定位到哪一个primary shard 或其对应的replica shard上。实现读负载均衡，replica shard数量越多，并发读能力越强。

　　PUT /test_index/my_type/10?routing=type_id{}

7、Document增删改原理简图

解释：
1 ：客户端发起请求，执行增删改操作。所有的增删改操作都由primary shard直接处理，replica shard只被动的备份数据。此操作请求到节点2（请求发送到的节点随机），这个节点称为协调节点（coordinate node）。
2 ：协调节点通过路由算法，计算出本次操作的Document所在的shard。假设本次操作的Document所在shard为 primary shard 0。协调节点计算后，会将操作请求转发到节点1。
3 ：节点1中的primary shard 0在处理请求后，会将数据的变化同步到对应的replica shard 0中，也就是发送一个同步数据的请求到节点3中。
4 ： replica shard 0在同步数据后，会响应通知请求这同步成功，也就是响应给primary shard 0（节点1）。
5 ： primary shard 0（节点1）接收到replica shard 0的同步成功响应后，会响应请求者，本次操作完成。也就是响应给协调节点（节点2）。
6 ：协调节点返回响应给客户端，通知操作结果。

8、Document查询简图

解释：
1 ：客户端发起请求，执行查询操作。查询操作都由primary shard和replica shard共同处理。此操作请求到节点2（请求发送到的节点随机），这个节点称为协调节点（coordinate node）。
2 ：协调节点通过路由算法，计算出本次查询的Document所在的shard。假设本次查询的Document所在shard为 shard 0。协调节点计算后，会将操作请求转发到节点1或节点3。分配请求到节点1还是节点3通过随机算法计算，ES会保证当请求量足够大的时候，primary shard和replica shard处理的查询请求数是均等的（是不绝对一致）。
3 ：节点1或节点3中的primary shard 0或replica shard 0在处理请求后，会将查询结果返回给协调节点（节点2）。
4 ：协调节点得到查询结果后，再将查询结果返回给客户端。

posted @ 2020-08-17 16:57 译林阅读(668) 评论(0) 编辑收藏举报

刷新页面返回顶部

译林

ES3: elasticsearch doucument 增删改查

公告