开源OLAP引擎对比
什么是olap
01、绝大多数请求都是读请求
02、数据以相当大的批次(>1000行)更新，而不是单行更新;或者它根本没有更新
03、数据已添加到数据库，但不会进行修改
04、对于读取，每次查询都从数据库中读取大量的行，但是同时又仅需要少量的列
05、表格“宽”，意味着它们包含大量列
06、查询相对较少(通常每台服务器数百个查询或每秒更少)
07、对于简单查询，允许延迟大约50毫秒
08、列中的数据相对较小：一般来说，都是数字和短字符串(例如，每个URL 60个字节)
09、处理单个查询时需要高吞吐量(每个服务器每秒最多数十亿行)
10、Transactions不是必需的
11、对数据一致性要求低
12、每个查询有一个大表。所有其他表都很小，除了这个大表
13、查询结果明显小于源数据。换句话说，数据被过滤或聚合后能够被盛放在单台服务器的内存中
mysql: 少量结构化数据的针对单条记录的增删改查
hbase： 针对海量数据的key-value增删改查
redis: 基于内存的针对key-value类型的增删改查，热数据的缓存
mongodb： 文档数据库 elasticsearch: 针对文件做全文检索的（倒排索引）
clickhouse: 针对海量数据的大量行少量列的聚合查询分析的请求
- Druid：由广告公司 MetaMarkets 开源的实时大数据分析引擎，2011 年创建，并于 2012 年开源。主要用于大规模事件流数据（Event Stream Data）的存储和分析。Druid 被阿里、小米、网易、优酷、微博等公司广泛应用。
- Presto：Facebook 2013 年开源的 OLAP 工具。Airbnb 和 Dropbox、京东、有赞、微博等公司使用该工具。
- Clickhouse：第一大搜索引擎 Yandex 开发的列式储存数据库。 ClickHouse 比 Vertica 约快5倍，比 Hive 快 279 倍。比 My SQL 快 801 倍。字节跳动、阿里、微博......几乎所有主流互联网公司，都会使用到 ClickHouse。
Druid
优点
- Druid 支持实时数据摄入，且可以立即查询；
- 类似其他 OLAP 工具，摄入数据时先预计算，以节省数据存储量级；
- 列式存储。区别传统行式存储，每次查询要加载整个表，列式存储只需加载指定列数据，大大提升性能。由于列式存储这个优势，目前主流 OLAP 都采用列式存储；
- 水平扩展。可部署到几十甚至几百台集群，支持万亿条记录查询。
缺点
- 查询中涉及多个大表之间 join，即：Druid对表关联操作支持很有限。
- 数据查询对延时要求不高，但对用户某具体行为颗粒度的场景分析。因为预计算会损失用户行为的个性化信息，所以这种情况是不容许进行预计算操作的。
Presto
- 快！Presto 最大的特点是快，它的设计初衷是解决快速查询大数据问题，期望查询时间是在几秒或者几分钟，因此速度是 Hive 的 10 倍以上；
- Presto 可以查询完全基于内存计算的分布式 SQL 查询引擎。所有查询、计算都可以在内存中进行；
- Presto 可以接入数据源，包括 Hive、Kafaka、MySQL、Redis 等；
- Presto 为标准 SQL，支持复杂 SQL 查询。
缺点
- 我们知道 Presto 运算时是将查询任务拆分到多个 Worker 机器上去分别进行内存运算。其中哪怕一个 Worker 由于各式各样的原因挂掉（比如内存溢出等），整个 Presto 查询任务就会失败。相比较而言，Hive 的容错性能就要好很多。一台机器挂掉或者被其他计算任务抢占，计算也并不会因此失败。它会重新向 Master 申请资源，继续计算。
- Presto 属于纯内存计算，不适合大表之间的多表 join 操作。否则容易引起内存溢出 OOM，造成查询任务失败。
- Presto 采用 MPP（Massively Parallel Processing：大规模并行处理）架构，本身 MPP 架构使用场景就是秒级、毫秒级的查询场景，速度很快。但 MPP 有个明显缺点，即短板效应。如果一个 Worker 节点计算慢于其他节点，那整个计算任务都会受限于该节点。在实际工作中，Presto 接入的很可能就是 HDFS 数据源，不同节点的数据不一定分布均匀，这使得不同 Worker 干活效率不一样。而 Hive、Spark 等采用的批处理系统则会避免这一点。
ClickHouse
- 提供极致的查询性能。比传统数据处理引擎快 100~1000 倍，数据吞吐能力高达50MB~200MB/s。使用体验非常好。
- 大数据的极低存储成本。ClickHouse 针对 OLAP 场景，开发高效列式存储、数据压缩算法，可以将原数据压缩 10 倍，极大提高单机数据存储和计算能力。可以简单理解为，原来一台机器存储 1TB 原始日志，而采用 ClickHouse 可以存储 10TB 原始日志。
- 支持 SQL 查询，并同时支持 join 等复杂计算逻辑。ClickHouse 之所以能拥有极致的计算性能，即使简单的查询，ClickHouse 也会使用服务器一半的 CPU 去执行，所以其充分利用了机器的计算资源，并实现单机多核并行计算、集群分布式计算、列存储且列计算等。
缺点
- 不支持事务操作，即数据的删除、更新。
- 不支持高并发，建议 QPS 为 100。即每秒查询操作不要超过 100 个。
参考: 奈学教育笔记
