【ELK】核心概念

参考：

https://elasticstack.blog.csdn.net/  ES官方博客，详细，推荐

https://elasticstack.blog.csdn.net/article/details/102728604　　Elastic：开发者上手指南（推荐，梳理整个ES Stack的各个产品博客的使用，包括各种材料链接）

https://www.elastic.co/guide/cn/elasticsearch/guide/current/getting-started.html  官方文档

https://www.cnblogs.com/skychen1218/p/15720522.html  实战参考：记一次引入Elasticsearch的系统架构实战 

---

 

 

  

引入ES背景：DB不支持复杂查询，不适合大量的查询

　　

 优缺点：非关系型数据库，不支持ACID；非实时数据库（内部基于refresh机制更新）；ES 宕机恢复后，数据存在丢失

存储模型（倒排索引）：　　　　

　　Elastic Search内部基于Apache Lucene框架开发。

　　Lucene：将写入所有信息组成倒排索引（inverted Index）结构。将词项映射到文档；倒排索引：支持快速查询的关键　　

       倒排索引：记录每个词条出现在哪些文档及文档中位置；涉及到原始数据按照算法进行分词，得到词条；

　　　　　　　创建索引过程

　　　　　　　　1、创建文档列表：Lucene对原始文档数据编号（DocId），形成文档列表

　　　　　　　　

　　　　　　2、创建倒排索引列表：对文档中数据进行分词，得到词条，以词条建立索引，记录下包含词条的所有文档编号。

　　　　　　　　

概念对比（ES vs Mysql）：

　　

      

数据类型

　　text：需要用于全文搜索(会被分词), 比如产品名称、产品描述信息, 就应该使用text类型.

　　keyword：需要按照精确值进行过滤、排序、聚合等操作时, 就应该使用keyword类型。不会被分词

　　数字类型：尽可能选择范围小的数据类型, 字段的长度越短, 索引和搜索的效率越高;

　　　　

 　　date：

    　　　　

 

    boolean

　　　　

 

 　　binary：

　　range：

　　　　　

 

  　　

建索引：只发生在主分片，而不是副本。当发请求给只有副本的节点时，请求会被转发拥有正确主分片的节点。

查询：分为scatter phase和gather phase； Scatter将query分发包含相关文档多个分片查询；gather 从众多分片中收集结果并合并、排序  ---》每个分片都会返回查询数量的数据，最终在整合阶段排序，丢弃，所以要求分片查询不能太大，否则资源消耗多。

集群存储和检索原理

　　

 

 Lucene原理

Segment（Shards） -> Document（行）-> Field（列）

　　

添加索引

　　索引只是一个用来指向一个或多个分片的逻辑命名空间

　　一个分片(shard)是一个最小级别“工作单元(worker unit)”,它只是保存了索引中所有数据的一部分。分片就是一个Lucene实例，并且它本身就是一个完整的搜索引擎。我们的文档存储在分片中，并且在分片中被索引，但是我们的应用程序直接与索引通信。

　　分片是Elasticsearch在集群中分发数据的关键。把分片想象成数据的容器。文档存储在分片中，然后分片分配到你集群中的节点上。当你的集群扩容或缩小，Elasticsearch将会自动在你的节点间迁移分片，以使集群保持平衡。

 　　分片可以是主分片(primary shard)或者是复制分片(replica shard)。你索引中的每个文档属于一个单独的主分片，所以主分片的数量决定了索引最多能存储多少数据。

　　理论上主分片能存储的数据大小是没有限制的，限制取决于你实际的使用情况。分片的最大容量完全取决于你的使用状况：硬件存储的大小、文档的大小和复杂度、如何索引和查询你的文档，以及你期望的响应时间。

　　复制分片只是主分片的一个副本，它可以防止硬件故障导致的数据丢失，同时可以提供读请求，比如搜索或者从别的shard取回文档。当索引创建完成的时候，主分片的数量就固定了，但是复制分片的数量可以随时调整。

 　　默认情况下，一个索引被分配5个主分片

　　

　　 状态绿色：集群功能完备且高可用

 　　

 横向扩展：

　　

 　　

 　　

 　　当节点1故障时，自动将节点2为master。

　　因为配置复制系数是2，但当前只有1个复制分片，所以状态是黄色。

　　

 

 　　

 集群部署

　　管理节点：集群中有一个节点被选为管理节点，负责集群状态管理和集群拓扑变化时做出反应，分发索引分片至集群相应节点上。

　　所有请求可发送至任意节点，如果有需要任意节点可并行发送子查询给其他节点，并合并搜索结果返回。