ES数据库系统

elasticsearch 与 传统数据库的区别与选用

1:ES

ElasticSearch是一款分布式全文检索框架,底层基于基于Lucene实现。

ElasticSearch 使用 JSON 格式存储数据,属于文档存储

 

2:遍历方式

ES有分片的概念,一个大的索引会被分成多个分片来进行存储数据,使用分布式的架构对分片进行并行搜索(基于倒排)

传统数据的遍历,属于正向全表扫描

 

3:ES采用倒排索引,传统数据库采用B+树索引

倒排索引:

对文本进行分词处理,记录单词,词频,文本id等信息,搜索时基于内容(根据单词和词频词向量等来计算评分)来找文本id

B+树索:

一种树的数据结构,存储时会根据内容生成一个数节点,搜索时时跟据节点id来查找内容

4:es的注意点

ES没有事务的概念,不支持回滚,无法恢复删除数据

 

5 : 选用

在面对大数据量简单计算的时候es的效率远高于mysql等传统数据库,但是在定位某一个唯一值(如用会员id找会员)时并不需要es

在大数据的相似计算与查找或简单计算时,es的分布式并行计算有绝对的优势

 

ES(ElasticSearch)是一款分布式全文检索框架,底层基于基于Lucene实现。ES与传统数据的区别主要有:

 

1.结构名称不同

一个ES集群可以包含多个索引(数据库),每个索引又包含了很多类型(表),类型中包含了很多文档(行),每个文档使用 JSON 格式存储数据,包含了很多字段(列)。

关系型数据库

数据库

ElasticSearch

索引

类型

文档

字段

 

2.ES分布式搜索,传统数据库遍历式搜索

ES支持分片和复制,从而方便水平分割和扩展,复制保证了es的高可用与高吞吐。

在ES中,当你创建一个索引(数据库)的时候,你可以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的索引(数据库),索引可以被放置到集群中的任何节点上。分片优点:

1.允许你水平分割/扩展你的内容容量

2.允许你在分片之上进行分布式的、并行的操作,进而提高性能/吞吐量

3.分片的分布,它的文档怎样聚合回搜索请求,完全由Elasticsearch管理

 

3.ES采用倒排索引,传统数据库采用B+树索引

假设一个文档(用id标识)是有许多的单词(用value标识)组成的,每个单词可能同一个文档中重复出现很多次,也可能出现在不同的文档中。

正排索引:从文档角度看其中的单词,表示每个文档都含有哪些单词,以及每个单词出现了多少次(词频)及其出现位置(相对于文档首部的偏移量)。

倒排索引:从单词角度看文档,标识每个单词分别在那些文档中出现(文档ID),以及在各自的文档中每个单词分别出现了多少次(词频)及其出现位置(相对于该文档首部的偏移量)。

简单理解,

正排索引:id ---> value

倒排索引:value ---> id

ES中为所有字段默认都建了倒排索引。

 

4.ES没有用户验证和权限控制

 

5.ES没有事务的概念,不支持回滚,误删不能恢复

 

6.ES免费,完全开源;传统数据库部分免费

 

7.结合工作举例

例如,要计算出2.38亿会员中有多少80后的已婚的上海男士。

传统数据库执行时间: 5个小时左右

ES执行时间:1分钟

 

posted @ 2018-07-17 15:00  积极向上的徐先生  阅读(7961)  评论(0编辑  收藏  举报