ES数据库系统
elasticsearch 与 传统数据库的区别与选用
1:ES
ElasticSearch是一款分布式全文检索框架,底层基于基于Lucene实现。
ElasticSearch 使用 JSON 格式存储数据,属于文档存储
2:遍历方式
ES有分片的概念,一个大的索引会被分成多个分片来进行存储数据,使用分布式的架构对分片进行并行搜索(基于倒排)
传统数据的遍历,属于正向全表扫描
3:ES采用倒排索引,传统数据库采用B+树索引
倒排索引:
对文本进行分词处理,记录单词,词频,文本id等信息,搜索时基于内容(根据单词和词频词向量等来计算评分)来找文本id
B+树索:
一种树的数据结构,存储时会根据内容生成一个数节点,搜索时时跟据节点id来查找内容
4:es的注意点
ES没有事务的概念,不支持回滚,无法恢复删除数据
5 : 选用
在面对大数据量简单计算的时候es的效率远高于mysql等传统数据库,但是在定位某一个唯一值(如用会员id找会员)时并不需要es
在大数据的相似计算与查找或简单计算时,es的分布式并行计算有绝对的优势
ES(ElasticSearch)是一款分布式全文检索框架,底层基于基于Lucene实现。ES与传统数据的区别主要有:
1.结构名称不同
一个ES集群可以包含多个索引(数据库),每个索引又包含了很多类型(表),类型中包含了很多文档(行),每个文档使用 JSON 格式存储数据,包含了很多字段(列)。
关系型数据库 |
数据库 |
表 |
行 |
列 |
ElasticSearch |
索引 |
类型 |
文档 |
字段 |
2.ES分布式搜索,传统数据库遍历式搜索
ES支持分片和复制,从而方便水平分割和扩展,复制保证了es的高可用与高吞吐。
在ES中,当你创建一个索引(数据库)的时候,你可以指定你想要的分片的数量。每个分片本身也是一个功能完善并且独立的索引(数据库),索引可以被放置到集群中的任何节点上。分片优点:
1.允许你水平分割/扩展你的内容容量
2.允许你在分片之上进行分布式的、并行的操作,进而提高性能/吞吐量
3.分片的分布,它的文档怎样聚合回搜索请求,完全由Elasticsearch管理
3.ES采用倒排索引,传统数据库采用B+树索引
假设一个文档(用id标识)是有许多的单词(用value标识)组成的,每个单词可能同一个文档中重复出现很多次,也可能出现在不同的文档中。
正排索引:从文档角度看其中的单词,表示每个文档都含有哪些单词,以及每个单词出现了多少次(词频)及其出现位置(相对于文档首部的偏移量)。
倒排索引:从单词角度看文档,标识每个单词分别在那些文档中出现(文档ID),以及在各自的文档中每个单词分别出现了多少次(词频)及其出现位置(相对于该文档首部的偏移量)。
简单理解,
正排索引:id ---> value
倒排索引:value ---> id
ES中为所有字段默认都建了倒排索引。
4.ES没有用户验证和权限控制
5.ES没有事务的概念,不支持回滚,误删不能恢复
6.ES免费,完全开源;传统数据库部分免费
7.结合工作举例
例如,要计算出2.38亿会员中有多少80后的已婚的上海男士。
传统数据库执行时间: 5个小时左右
ES执行时间:1分钟