01. Elasticsearch基础

1.1 Elasticsearch介绍

　　1、什么是 Elasticsearch ？

　　　　　　1. 使用 java 语言开发的一套开源的全文搜索引擎，建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎

　　　　　　2. 用于搜索、日志管理、安全分析、指标分析、业务分析、应用性能监控等多个领域

　　　　　　3. 底层基于 Lucene 开源库开发，提供 restAPI，可以被任何语言调用

　　　　　　4. 支持分布式部署，可水平扩展

　　　　　　5. 更新迭代快、社区活跃、文档丰富

　　2、es功能

　　　　　　1. 分布式的搜索引擎和数据分析引擎

　　　　　　2. 数据分析：电商网站，最近7天牙膏销量排行前十商家（举例）

　　　　　　3. 全文检索，结构化检索，数据分析

　　　　　　4. 全文检索：我想搜索商品名称包含牙膏的商品，select * from products where product_name like “%牙膏%”

　　　　　　5. 结构化检索：我想搜索商品分类为日化用品的商品都有哪些，select * from products where category_id=’日化用品’

　　　　　　6. 部分匹配、自动完成、搜索纠错、搜索推荐

　　　　　　7. 数据分析：我们分析每一个商品分类下有多少个商品，select category_id,count(*) from products group by category_id

　　　　　　8. 对海量数据进行实时的处理

　　3、es特点

　　　　　　1. 可以作为一个大型分布式集群（数百台服务器）技术，处理PB级数据，服务大公司；也可以运行在单机上，服务小公司

　　　　　　2. Elasticsearch不是什么新技术，主要是将全文检索、数据分析以及分布式技术，合并在了一起，才形成了独一无二的ES；

　　　　　　3. lucene（全文检索），商用的数据分析软件（也是有的），分布式数据库（mycat）

　　　　　　4. 对用户而言，是开箱即用的，非常简单，作为中小型的应用，直接3分钟部署一下ES，就可以作为生产环境的系统来使用了，数据量不大，操作不是太复杂

　　　　　　5. 数据库的功能面对很多领域是不够用的（事务，还有各种联机事务型的操作）；

　　　　　　6. 特殊的功能，比如全文检索，同义词处理，相关度排名，复杂数据分析，海量数据的近实时处理；

　　　　　　7. Elasticsearch作为传统数据库的一个补充，提供了数据库所不不能提供的很多功能

1.2 elasticsearch基本概念

　　1、概念说明

　　　　　　1. ElasticSearch 是分布式数据库，允许多台服务器协同工作，每台服务器可以运行多个实例。

　　　　　　2. 单个实例称为一个节点（node）

　　　　　　3. 一组节点构成一个集群（cluster）。

　　　　　　4. 分片是底层的工作单元，文档保存在分片内，分片又被分配到集群内的各个节点里，每个分片仅保存全部数据的一部分。

　　　　　　

　　2、索引（Index）[数据库]

　　　　　　1. ES将数据存储于一个或多个索引中，索引是具有类似特性的文档的集合。

　　　　　　2. 类比传统的关系型数据库领域来说，索引相当于SQL中的一个数据库，或者一个数据存储方案(schema)。

　　　　　　3. 索引由其名称(必须为全小写字符)进行标识，并通过引用此名称完成文档的创建、搜索、更新及删除操作。

　　　　　　4. 一个ES集群中可以按需创建任意数目的索引。

　　3、类型（Type）[表]

　　　　　　1. 类型是索引内部的逻辑分区(category/partition)，然而其意义完全取决于用户需求。

　　　　　　2. 因此，一个索引内部可定义一个或多个类型(type)。

　　　　　　3. 一般来说，类型就是为那些拥有相同的域的文档做的预定义。

　　　　　　4. 例如，在索引中，可以定义一个用于存储用户数据的类型，一个存储日志数据的类型，以及一个存储评论数据的类型。

　　　　　　5. 类比传统的关系型数据库领域来说，类型相当于“表”。

　　4、文档（Document）

　　　　　　1. 文档是索引和搜索的原子单位，它是包含了一个或多个域（Field）的容器，基于JSON格式进行表示。

　　　　　　2. 文档由一个或多个域组成，每个域拥有一个名字及一个或多个值，有多个值的域通常称为“多值域”。

　　　　　　3. 每个文档可以存储不同的域集，但同一类型下的文档至应该有某种程度上的相似之处。

　　5、节点（Node）

　　　　　　1. 一个运行中的 Elasticsearch 实例称为一个节点

　　　　　　2. 而集群是由一个或者多个拥有相同cluster.name配置的节点组成， 它们共同承担数据和负载的压力。

　　　　　　3. ES集群中的节点有三种不同的类型：

　　　　　　　　1）主节点：负责管理集群范围内的所有变更，例如增加、删除索引，或者增加、删除节点等。 主节点并不需要涉及到文档级别的变更和搜索等操作。可以通过属性node.master进行设置。

　　　　　　　　2）数据节点：存储数据和其对应的倒排索引，默认每一个节点都是数据节点（包括主节点），可以通过node.data属性进行设置。

　　　　　　　　3）协调节点：如果node.master和node.data属性均为false，则此节点称为协调节点，用来响应客户请求，均衡每个节点的负载。

　　6、分片（Shard）

　　　　　　1. 一个索引中的数据保存在多个分片中，相当于水平分表。

　　　　　　2. 一个分片便是一个Lucene 的实例，它本身就是一个完整的搜索引擎。

　　　　　　3. 我们的文档被存储和索引到分片内，但是应用程序是直接与索引而不是与分片进行交互。

　　　　　　4. ES实际上就是利用分片来实现分布式。

　　　　　　5. 分片是数据的容器，文档保存在分片内，分片又被分配到集群内的各个节点里。

　　　　　　6. 当你的集群规模扩大或者缩小时， ES会自动的在各节点中迁移分片，使得数据仍然均匀分布在集群里。

　　　　　　7.主分片 与 副分片

　　　　　　　　1）索引内任意一个文档都归属于一个主分片，所以主分片的数目决定着索引能够保存的最大数据量。

　　　　　　　　2）一个副本分片只是一个主分片的拷贝。

　　　　　　　　3）副本分片作为硬件故障时保护数据不丢失的冗余备份，并为搜索和返回文档等读操作提供服务。

1.3 elasticsearch增删改查原理

　　1、增加原理

　　　　　　1. 当用户向一个节点提交了一个索引新文档的请求，节点会计算新文档应该加入到哪个分片（shard）中。

　　　　　　2. 每个节点都存储有每个分片存储在哪个节点的信息，因此协调节点会将请求发送给对应的节点。

　　　　　　3. 注意这个请求会发送给主分片，等主分片完成索引，会并行将请求发送到其所有副本分片，保证每个分片都持有最新数据。

　　　　　　4. 每次写入新文档时，都会先写入内存中，并将这一操作写入一个translog文件（transaction log）中，此时如果执行搜索操作，这个新文档还不能被索引到。

　　　　　　5. ES会每隔1秒时间（这个时间可以修改）进行一次刷新操作（refresh）

　　　　　　6. 此时在这1秒时间内写入内存的新文档都会被写入一个文件系统缓存（filesystem cache）中，并构成一个分段（segment）。

　　　　　　7. 此时这个segment里的文档可以被搜索到，但是尚未写入硬盘，即如果此时发生断电，则这些文档可能会丢失。

　　　　　　8.不断有新的文档写入，则这一过程将不断重复执行。每隔一秒将生成一个新的segment，而translog文件将越来越大。

　　　　　　9.不断有新的文档写入，则这一过程将不断重复执行。每隔一秒将生成一个新的segment，而translog文件将越来越大。

　　　　　　说明：

　　　　　　　　1）由上面的流程可以看出，在两次fsync操作之间，存储在内存和文件系统缓存中的文档是不安全的，一旦出现断电这些文档就会丢失。

　　　　　　　　2）所以ES引入了translog来记录两次fsync之间所有的操作，这样机器从故障中恢复或者重新启动，ES便可以根据translog进行还原。

 　　　　　　　　

　　2、删除（Delete）文档

　　　　　　1. ES的索引是不能修改的，因此更新和删除操作并不是直接在原索引上直接执行。

　　　　　　2. 每一个磁盘上的segment都会维护一个del文件，用来记录被删除的文件。

　　　　　　3. 每当用户提出一个删除请求，文档并没有被真正删除，索引也没有发生改变，而是在del文件中标记该文档已被删除。

　　　　　　4. 因此，被删除的文档依然可以被检索到，只是在返回检索结果时被过滤掉了。

　　　　　　5. 每次在启动segment合并工作时，那些被标记为删除的文档才会被真正删除。

　　3、更新（Update）

　　　　　　1. 更新文档会首先查找原文档，得到该文档的版本号。

　　　　　　2. 然后将修改后的文档写入内存，此过程与写入一个新文档相同。

　　　　　　3. 同时，旧版本文档被标记为删除，同理，该文档可以被搜索到，只是最终被过滤掉。

　　4、读操作（Read）：查询过程

　　　　　　1. 查询的过程大体上分为查询（query）和取回（fetch）两个阶段。

　　　　　　2. 这个节点的任务是广播查询请求到所有相关分片，并将它们的响应整合成全局排序后的结果集合，这个结果集合会返回给客户端。

　　　　　　3. 查询阶段

　　　　　　　　1）当一个节点接收到一个搜索请求，则这个节点就变成了协调节点。

　　　　　　　　2）第一步是广播请求到索引中每一个节点的分片拷贝。

　　　　　　　　3）协调节点会将所有分片的结果汇总，并进行全局排序，得到最终的查询排序结果。

　　　　　　4. 取回阶段

　　　　　　　　1）查询过程得到的是一个排序结果，标记出哪些文档是符合搜索要求的，此时仍然需要获取这些文档返回客户端。

　　　　　　　　2）协调节点会确定实际需要返回的文档，并向含有该文档的分片发送get请求；

　　　　　　　　3）分片获取文档返回给协调节点；协调节点将结果返回给客户端。