ES之4：Elasticsearch并发控制及乐观锁实现原理

普通关系型数据库使用的是（悲观并发控制（PCC））：当我们在修改一个数据前先锁定这一行，然后确保只有读取到数据的这个线程可以修改这一行数据

ES使用的是（乐观并发控制（OCC））

　　ES不会阻止某一数据的访问，然而，如果基础数据在我们读取和写入的间隔中发生了变化，更新就会失败，这时候就由程序来决定如何处理这个冲突。它可以重新读取新数据来进行更新，又或者将这一情况直接反馈给用户。

本文中的示例是在ES7.1.1上执行的。

一、演示ES内部如何基于_version（使用es内部版本号）进行乐观锁的并发控制

1）首先得到想要修改的文档，获取版本version号

先为duan的索引增加一条数据，我执行了2次：

PUT /duan/_doc/1
{
  "member_id":"abc",
  "amount":302,
  "event_time":"2020-05-03 10:07:01"
}

返回：

{
  "_index" : "duan",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 2,
  "result" : "updated",
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 1,
  "_primary_term" : 1
}

或者直接查询一下：

GET /duan/_doc/1

{
  "_index" : "duan",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 2,
  "_seq_no" : 1,
  "_primary_term" : 1,
  "found" : true,
  "_source" : {
    "member_id" : "abc",
    "amount" : 302,
    "event_time" : "2020-05-03 10:07:01"
  }
}

返回中的_version就是ES为我们准备的内部version了。

删除记录：

DELETE /duan/_doc/1

{
  "_index" : "duan",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 3,
  "result" : "deleted",
  "_shards" : {
    "total" : 2,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 2,
  "_primary_term" : 1
}
在删除一个document之后，_version版本等信息还是保留着的，说明并没有物理删除。

二、es api演示通过es内置_version实现乐观锁功能

当前的version是2，我们使用一个浏览器标签页，发出更新请求，把当前的version带上：

POST /duan/_doc/1?version=2
{
"member_id":"abc",
"amount":303,
"event_time":"2020-05-03 10:07:01"
}

石杉老师的视频是：

 

 

 但是我的返回：

{
  "error": {
    "root_cause": [
      {
        "type": "action_request_validation_exception",
        "reason": "Validation Failed: 1: internal versioning can not be used for optimistic concurrency control. Please use `if_seq_no` and `if_primary_term` instead;"
      }
    ],
    "type": "action_request_validation_exception",
    "reason": "Validation Failed: 1: internal versioning can not be used for optimistic concurrency control. Please use `if_seq_no` and `if_primary_term` instead;"
  },
  "status": 400
}

百度了下，是ES版本支持的问题

这时我们在操作es的时候可以通过_seq_no这个es自带的字段进行控制
注意：一些老的版本es使用version，但是新版本不支持了，会报这个错误，提示我们用if_seq_no和if_primary_term

版本元数据
_seq_no：文档版本号，作用同_version（相当于学生编号，每个班级的班主任为学生分配编号，效率要比学校教务处分配来的更加高效，管理起来更方便）
_primary_term：文档所在位置（相当于班级）
官文地址：https://www.elastic.co/guide/en/elasticsearch/reference/current/optimistic-concurrency-control.html

正确的做法如下：

POST /duan/_doc/1/_update?if_seq_no=2&if_primary_term=1
{
  "doc":{
   "amount":333
  }
}

返回：

#! Deprecation: [types removal] Specifying types in document update requests is deprecated, use the endpoint /{index}/_update/{id} instead.
{
"_index" : "duan",
"_type" : "mytype",
"_id" : "1",
"_version" : 3,
"result" : "updated",
"_shards" : {
"total" : 1,
"successful" : 1,
"failed" : 0
},
"_seq_no" : 2,
"_primary_term" : 1
}

相同的if_seq_no=2&if_primary_term=1再执行一次，失败的结果如下：

{
  "error": {
    "root_cause": [
      {
        "type": "version_conflict_engine_exception",
        "reason": "[1]: version conflict, required seqNo [1], primary term [1]. current document has seqNo [2] and primary term [1]",
        "index_uuid": "TsS_bkFJRE6wdpOSzIrcEw",
        "shard": "0",
        "index": "duan"
      }
    ],
    "type": "version_conflict_engine_exception",
    "reason": "[1]: version conflict, required seqNo [1], primary term [1]. current document has seqNo [2] and primary term [1]",
    "index_uuid": "TsS_bkFJRE6wdpOSzIrcEw",
    "shard": "0",
    "index": "duan"
  },
  "status": 409
}

关键错误信息：version_conflict_engine_exception，版本冲突，将if_seq_no升到3,模拟失败后重试，此时更新成功。

真实的场景，重试的次数跟线程并发数有关，线程越多，更新越频繁，就可能需要重试多次才可能更新成功。

三、使用外部_version实战乐观锁控制效果

ES提供了一个feature，ES允许不使用内置的version进行版本控制，可以自定义使用外部的version，例如常见的使用Elasticsearch做数据查询加速的经典方案，关系型数据库作为主数据库，然后使用Elasticsearch做搜索数据，主数据会同步数据到Elasticsearch中，而主数据库并发控制，本身就是使用的乐观锁机制，有自己的一套version生成机制，数据同步到ES那里时，直接使用更方便。

请求语法上加上version_type参数即可：

POST /duan/_doc/1?version=2&version_type=external
{
  "doc":{
   "amount":999
  }
}

返回：

{
  "error": {
    "root_cause": [
      {
        "type": "version_conflict_engine_exception",
        "reason": "[1]: version conflict, current version [3] is higher or equal to the one provided [2]",
        "index_uuid": "TsS_bkFJRE6wdpOSzIrcEw",
        "shard": "0",
        "index": "duan"
      }
    ],
    "type": "version_conflict_engine_exception",
    "reason": "[1]: version conflict, current version [3] is higher or equal to the one provided [2]",
    "index_uuid": "TsS_bkFJRE6wdpOSzIrcEw",
    "shard": "0",
    "index": "duan"
  },
  "status": 409
}

调整下version=3，再执行一次

{
  "_index" : "duan",
  "_type" : "_doc",
  "_id" : "1",
  "_version" : 4,
  "result" : "updated",
  "_shards" : {
    "total" : 1,
    "successful" : 1,
    "failed" : 0
  },
  "_seq_no" : 3,
  "_primary_term" : 1
}
唯一的区别
  • 内置_version，只有当你提供的version与es中的_version完全一样的时候，才可以进行更新，否则报错；
  • 外部_version，只有当你提供的version比es中的_version大的时候，才能完成修改。

 

四、Replica Shard数据同步并发控制

在Elasticsearch内部，每当primary shard收到新的数据时，都需要向replica shard进行数据同步，这种同步请求特别多，并且是异步的。如果同一个document进行了多次修改，Shard同步的请求是无序的，可能会出现"后发先至"的情况，如果没有任何的并发控制机制，那结果将无法相像。

Shard的数据同步也是基于内置的_version进行乐观锁并发控制的。

例如Java客户端向Elasticsearch某条document发起更新请求，共发出3次，Java端有严谨的并发请求控制，在ElasticSearch的primary shard中写入的结果是正确的，但Elasticsearch内部数据启动同步时，顺序不能保证都是先到先得，情况可能是这样，第三次更新请求比第二次更新请求先到，如下图：

知识点：
  1. es的后台在接收应用请求时，用多线程异步方式处理的（类似于replication同步请求），也就是说，多个修改请求之间，顺序可能是乱的，可能后修改的先到。
  2. es内部的多线程异步并发修改数据时，是基于自己的_version版本号进行乐观锁并发控制的。根据版本号比较，如果待修改的数据的版本号比es的版本号小的话，将该数据丢弃。

如果Elasticsearch内部没有并发的控制，这个document在replica的结果可能是text2，并且与primary shard的值不一致，这样肯定错了。

预期的更新顺序应该是text1-->text2-->text3，最终的正确结果是text3。那Elasticsearch内部是如何做的呢？

Elasticsearch内部在更新document时，会比较一下version，如果请求的version与document的version相等，就做更新，如果document的version已经大于请求的version，说明此数据已经被后到的线程更新过了，此时会丢弃当前的请求，最终的结果为text3。
此时的更新顺序为text1-->text3，最终结果也是对的。


原文链接：https://blog.csdn.net/kuangxie4668/java/article/details/105547435

参考：https://www.cnblogs.com/huangying2124/archive/2019/12/05/11986897.html

posted on 2016-02-23 10:25  duanxz  阅读(2909)  评论(0)  编辑  收藏  举报

Powered by: 博客园 Copyright © 2024 duanxz
Powered by .NET 9.0 on Kubernetes