Elasticsearch核心概念介绍

Elasticsearch是一个基于Lucene的分布式全文搜索引擎，实时存储和搜索数据，基于RESTful web接口。

 

1、索引 index

一个索引就是一个拥有几分相似特征的文档的集合。比如说，你可以有一个客户数据的索引，另一个产品目录的索引，还有一个订单数据的索引。一个索引由一个名字来标识（必须全部是小写字母的），并且当我们要对对应于这个索引中的文档进行索引、搜索、更新和删除的时候，都要使用到这个名字。在一个集群中，可以定义任意多的索引。

2、类型 type

在一个索引中，你可以定义一种或多种类型。一个类型是你的索引的一个逻辑上的分类/分区，其语义完全由你来定。通常，会为具有一组共同字段的文档定义一个类型。比如说，我们假设你运营一个博客平台并且将你所有的数据存储到一个索引中。在这个索引中，你可以为用户数据定义一个类型，为博客数据定义另一个类型，当然，也可以为评论数据定义另一个类型。

7.0之前一个index可以设置多个type，从7.0开始一个索引只能创建一个type  ‘_doc’

3、字段Field

相当于是数据表的字段，文档数据字段。

4、映射 mapping  和 setting

mapping 定义文档字段名和字段类型。

setting 定义不同数据的分布，分片数 和副本数。

5、文档 document

一个文档是一个可被索引的基础信息单元。比如，你可以拥有某一个客户的文档，某一个产品的一个文档，当然，也可以拥有某个订单的一个文档。文档以JSON（Javascript Object Notation）格式来表示，而JSON是一个到处存在的互联网数据交互格式。

在一个index/type里面，你可以存储任意多的文档。注意，尽管一个文档，物理上存在于一个索引之中，文档必须被索引/赋予一个索引的type。

索引中的每个文档属于一个单独的主分片，所以主分片的数量决定了索引最多能存储多少数据。

(假如索引有五个主分片, 现在往集群中写入一条document, 只会存储在五个主分片其中一个)

6、集群 cluster

一个集群就是由一个或多个节点组织在一起，它们共同持有整个的数据，并一起提供索引和搜索功能。一个集群由一个唯一的名字标识，这个名字默认就是“elasticsearch”。这个名字是重要的，因为一个节点只能通过指定某个集群的名字，来加入这个集群

7、节点 node

一个节点是集群中的一个服务器，作为集群的一部分，它存储数据，参与集群的索引和搜索功能。和集群类似，一个节点也是由一个名字来标识的，默认情况下，这个名字是一个随机的漫威漫画角色的名字，这个名字会在启动的时候赋予节点。这个名字对于管理工作来说挺重要的，因为在这个管理过程中，你会去确定网络中的哪些服务器对应于Elasticsearch集群中的哪些节点。

一个节点可以通过配置集群名称的方式来加入一个指定的集群。默认情况下，每个节点都会被安排加入到一个叫做“elasticsearch”的集群中，这意味着，如果你在你的网络中启动了若干个节点，并假定它们能够相互发现彼此，它们将会自动地形成并加入到一个叫做“elasticsearch”的集群中。

在一个集群里，只要你想，可以拥有任意多个节点。而且，如果当前你的网络中没有运行任何Elasticsearch节点，这时启动一个节点，会默认创建并加入一个叫做“elasticsearch”的集群。

8、主分片（primary shard）和副本分片(replica shards) 

8.1 主副分片设置

主分片：用一解决数据水平扩展的问题。通过主分片，可以将 数据分布到集群内所有节点之上。

  - 一个分片是一个运行的lucene的实例。

  - 主分片数在索引创建的时候指定，后续不允许修改，除非reindex。

副本：用以解决数据高可用的问题，分片是主分片的拷贝。

  - 副本分片数，可以动态调整。

  - 增加副本数，还可以在一定程度上提高服务的可用性（读取吞吐量）

默认情况下，Elasticsearch中的每个索引被分片5个主分片和1个复制，这意味着，如果你的集群中至少有两个节点，你的索引将会有5个主分片和另外5个复制分片（1个完全拷贝），这样的话每个索引总共就有10个分片。

分片设置过小：

  - 导致后续无法增加节点实现水平扩展。

  - 单个分片的的数据量过大，导致数据重新分配耗时。

分片设置过大：

  - 影响统计结果的准确性。

  - 单个节点过多分片，会导致资源浪费浪费性能。

8.2 路由文档到分片

当你索引一个文档，它被存储在单独一个主分片上。Elasticsearch是如何知道文档属于哪个分片的呢？当你创建一个新文档，它是如何知道是应该存储在分片1还是分片2上的呢？

进程不能是随机的，因为我们将来要检索文档。事实上，它根据一个简单的算法决定：

shard = hash(routing) % number_of_primary_shards

routing值是一个任意字符串，它默认是_id但也可以自定义。这个routing字符串通过哈希函数生成一个数字，然后除以主切片的数量得到一个余数(remainder)，余数的范围永远是0到number_of_primary_shards - 1，这个数字就是特定文档所在的分片。

主分片的数量只能在创建索引时定义且不能修改：如果主分片的数量在未来改变了，所有先前的路由值就失效了，文档也就永远找不到了。

9、集群发现机制

9.1 新增节点

如果我们有3台服务器，每台服务器安装一个node节点,有4个主分片，必定有台服务器有2个主分片，现在在es集群中加台服务器，其中P1或P4必定有个到这台新的服务器中。

9.2 删除节点

如果有三台node节点,包含三个主分片和六个副本分片,node1为主节点.

 把node1节点kill掉, 集群内部会重新选举一个新的主节点node2, 集群状态变成yellow, 因为3个主分片完好, 设置2个副本现在只有1个副本,副本丢失所以是yellow.

10、Elasticsearch比传统关系型数据库区别

elasticsearch	RDBMS(mysql)
全文检索	事务性
indices(索引)	Databases(数据库)
Type(类型)	Table(表)
Document(文档)	Row(行数据)
Filed(字段)	Column(字段)
Mapping(映射)	Schema(表结构)
DSL	SQL

 备注：Elasticsearch 7.X版本type索引类型默认为’_doc’， 8.X将废弃索引类型字段

 

下载地址:

ElasticSearch: https://mirrors.huaweicloud.com/elasticsearch/?C=N&O=D
logstash: https://mirrors.huaweicloud.com/logstash/?C=N&O=D
kibana: https://mirrors.huaweicloud.com/kibana/?C=N&O=D
elasticsearch-analysis-ik: https://github.com/medcl/elasticsearch-analysis-ik/releases
cerebro: https://github.com/lmenezes/cerebro/releases