Elasticsearch学习笔记（四）ElasticSearch分布式机制

一、Elasticsearch对复杂分布式机制透明的隐藏特性

     1、分片机制：

             （1）index包含多个shard，每个shard都是一个最小工作单元，承载部分数据，lucene实例，完整的建立索引和处理请求的能力
           （2）shard分为：primary shard和replica shard。
                 primary shard：接受写和读请求。
                 replica shard是primary shard的副本，负责容错，以及承担读请求负载 。
                 1）primary shard的数量在创建索引的时候就固定了，replica shard的数量可以随时修改（primary shard的默认数量是5，replica默认是1，默认有10个shard，5个primary shard，5个replica shard ）。
                 2）primary shard不能和自己的replica shard放在同一个节点上（否则节点宕机，primary shard和副本都丢失，起不到容错的作用），但是可以和其他primary shard的replica shard放在同一个节点上
                 3）每个document肯定只存在于某一个primary shard以及其对应的replica shard中，不可能存在于多个primary shard
                 4）增减节点时，shard会自动在nodes中负载均衡
             （3）设置索引的primary shard和replica  shard
                     PUT /index

                  {
                       "settings" : {
                            "number_of_shards" : 3,
                             "number_of_replicas" : 1
                          }

                   }

               

    2、集群发现、扩容机制：

         （1）集群发现：新增的节点自动加入集群，并且接收到部分replica shard
         （2）集群扩容：
                 垂直扩容：服务器总数不变，通过单台服务器支撑更多的数据进行扩容
                 水平扩容：单台服务器支撑的数据量保持不变，通过增加服务器数量进行扩容（ 优先采用方案，  一般采用水平扩容方案）
        

    3、shard副本、负载均衡、重分配机制：

         （1）shard副本：
    
          （2）负载均衡：增加很减少节点时自动进行数据的rebalance，es自动根据当前的负载均衡情况自己进行数据的重新负载均衡

         （3）重分配机制：

     4、master节点推举机制和replica shard容错机制

         （1）master节点：用于管理集群元数据（比如索引新增，删除等），索引元数据，节点的新增和移除，默认情况下，会自动选择一个节点作为matster节点

         （2）replica shard容错机制
                 如果一个master节点宕机，则master会自动选择一个node作为新的master以承担master的责任。新的master将丢失掉的某个primary shard的replica shard提升为primary shard（此时，少了一个replica shard，导致并不是所有的replica shard都是active状态了，相应的集群的健康颜色值会发生变化）
            
        

    5、节点平等的分布式架构

             （1）节点对等，每个节点都能接收所有的请求
           （2）自动请求路由
           （3）响应收集