Elasticsearch 顶尖高手(2)
1.lucene和elasticsearch的前世今生
lucene 最先进、功能最强大的搜索库,直接基于lucene开发, 非常复杂,api复杂,需要深入理解原理
elasticsearch 基于lucene,隐藏复杂性, 提供简单易用的restful api接口,Java api接口
- 分布式的文档存储引擎
- 分布式的搜索引擎和分析引擎
- 分布式,支持PB级数据
开箱即用,优秀的默认参数,不需要任何额外设置,完全开源
2.elasticsearch的核心概念
- Near Realtime(NRT) : 近实时,两个意思,从写入数据到数据可以被搜索到有一个小延时(大约1秒);基于es执行搜索和分析可以达到秒级
- Cluster:集群,包含多个节点,每个节点属于哪个集群是通过一个配(集群名称,默认是elasticseatch)来决定的,对中小型应用来叔,刚开始一个集群也就一两个节点
- Node:节点,集群中的一个节点,节点也有一个名称(默认是随机分配的),节点名称很重要(在执行运维管理操作时),默认节点会加入一个名称为”elasticsearch”的集群,如果直接启动一堆节点,那么他们会自动组成一个elasticsearch集群,当然一个节点也可以组成一个elasticsearch集群
- Document & field:文档,se中的最小数据单元,一个document可以是一条客户数据,一条商品数据,一条订单数据,通常用Json数据结构表示,每个index下的type中,都可以去存储多个document。一个document中包含多个field,每个field就是一个数据字段。
- Index:索引,包含一堆有相似结构的文档数据,比如可以有一个客户索引,商品分类索引,订单索引,索引有一个名称。一个index包含了很多document,一个index就代表了一类类似的或者相同的document。
- Type:类型,每个index可以有一个或者多个type,type是index中的一个逻辑数据分类,一个type下的document,都有相同的field。
- shard:单台机器无法存储大量数据,es可以将一个索引中的数据切分为多个shard,分布在堕胎服务器上存储。有了shard就可以横向扩展,存储更多数据,让搜索和分析等操作分布到堕胎服务器上去执行,提升吞吐量和性能,每个shard都是一个lcene index.
- replica:任何一个服务器随时可能故障或宕机,此时shard可能会丢失,因此可以为每个shard创建多个replica副本。replica可以在share故障时提供备用服务,保证数据不丢失,多个replica还可以搜索操作的吞吐量和性能。primary shard(建立索引时一次设置,不能修改,默认5个),replica shard(随时修改数量, 默认1个),默认每个索引10个shard,5个primary shard,5个replica shard,最小的高可用配置,是2台服务器。
3.elasticsearch核心概念 vs 数据库核心概念
Elasticsearch 数据库
-------------------------------------------------------------
Document 行
Type 表
Index 库