Apache Kylin 、Doris、ClickHouse 核心技术对比
Apache Kylin
Apache Kylin 依赖于 Hadoop、HBase 和 Hive。Kylin 依赖于 Hadoop 集群处理大量的数据集。您需要准备一个配置好 HDFS,YARN,MapReduce,Hive, HBase,Zookeeper 和其他服务的 Hadoop 集群供 Kylin 运行。,这样Kylin才可以通过它们的配置文件和命令行工具等来执行计算
软件要求
- Hadoop: 2.7+, 3.1+ (since v2.5)
- Hive: 0.13 - 1.2.1+
- HBase: 1.1+, 2.0 (since v2.5)
- Spark (可选) 2.3.0+
- Kafka (可选) 1.0.0+ (since v2.5)
- JDK: 1.8+ (since v2.5)
- OS: Linux only, CentOS 6.5+ or Ubuntu 16.0.4+
Apache Doris
Apache Doris 是一个现代化的 MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果,有效地支持实时数据分析。Apache Doris的分布式架构非常简洁,易于运维,并且可以支持10PB以上的超大数据集。
Apache Doris可以满足多种数据分析需求,例如固定历史报表,实时数据分析,交互式数据分析和探索式数据分析等。令您的数据分析工作更加简单高效!Doris 主要集成了 Google Mesa 和 Apache Impala 的技术。与其他流行的基于 Hadoop 的 SQL 系统不同,Doris 被设计为一个简单且紧密耦合的单个系统,而不依赖于其他系统。
REFER:
https://www.infoq.cn/article/ufwbpmcf9bnxn38zkaxo
https://suncle.me/2019/08/02/Comparison-of-the-Open-Source-OLAP-Systems-for-BigData/
https://github.com/apache/druid
http://kylin.apache.org/cn/docs/install/index.html
https://tech.youzan.com/clickhouse-zai-you-zan-de-shi-jian-zhi-lu/