Apache Doris 轻松入门和快速实践

Doris 最早是解决百度凤巢统计报表的专用系统，随着百度业务的飞速发展对系统进行了多次迭代，逐渐承担起百度内部业务的统计报表和多维分析需求。2013 年，百度把 Doris 进行了 MPP 框架的升级，并将新系统命名为 Palo。2017 年以百度 Palo 的名字在 GitHub 上进行了开源。2018 年贡献给 Apache 基金会时，由于与国外数据库厂商重名，因此选择用回最初的名字，这就是 Apache Doris 的由来。

Apache Doris是一个现代化的MPP分析型数据库产品，仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。Apache Doris的分布式架构非常简洁，易于运维，并且可以支持10PB以上的超大数据集。

Apache Doris可以满足多种数据分析需求，例如固定历史报表，实时数据分析，交互式数据分析和探索式数据分析等。令您的数据分析工作更加简单高效！

Doris 的定位是面向在线报表和分析的数据仓库系统，可以对标于商业的MPP 数据仓库系统，比如Greenplum、Vertica、Teradata 等。

 

专栏大纲

Doris（原百度 Palo）是一款基于大规模并行处理技术的分布式 SQL 数据库，由百度在 2017 年开源，2018 年 8 月进入 Apache 孵化器。Doris是基于MPP架构的OLAP引擎，主要整合了Google Mesa（数据模型）、Apache Impala（MPP Query Engine）和Apache ORCFile （存储格式，编码和压缩）的技术。

 

Doris可以满足企业级用户的多种分析需求，包括OLAP多维分析，定制报表，实时数据分析，Ad-hoc数据分析等。

 

具体的业务场景包括：

• 数据仓库建设
• OLAP/BI分析
• 用户行为分析
• 广告数据分析
• 系统监控分析
• 探针分析 APM（Application Performance Management）

 

《Apache Doris 轻松入门和快速实践》技术专栏包括Apache Doris架构介绍、环境搭建、入门操作实例和演示项目源代码。技术专栏从实战出发，通过基础介绍入门-环境搭建-项目实践，让初学者快速掌握Apache Doris分析型OLAP数据库开源产品。其中示例项目KFD演示通过Flink处理Kafka中的消息记录，处理之后的数据再写入到Kafka和Elasticsearch中，最后以Routine Load方式再将处理好的数据导入到Doris中。

技术专栏主要包含如下内容：

• Apache Doris入门：基于 MPP 技术的SQL分析型数据库
• 如何通过源码编译Apache Doris？手把手教你完成整个编译过程
• Apache Doris 部署所需的软硬件环境以及节点规划
• Apache Doris 配置和启动运行FE节点详细过程
• Apache Doris 配置和启动运行BE节点详细过程
• Apache Doris 查看FE运行情况，以及扩容和缩容FE实例
• Apache Doris 查看BE运行情况，以及扩容和缩容BE实例
• 快速部署Apache Doris演示环境
• 快速体验Apache Doris：基础使用入门、创建账号和数据库
• 快速体验Apache Doris：创建单分区表、导入数据、简单查询操作
• 快速体验Apache Doris：创建复合分区表、导入数据、简单查询
• 快速体验Apache Doris：修改表结构
• 快速体验Apache Doris：创建Rollup上卷表
• Apache Doris 数据模型：Aggregate聚合模型的基本概念和入门演示
• Apache Doris 数据模型：Uniq 唯一模型的基本概念和入门演示
• Apache Doris 数据模型：Duplicate 明细模型的基本概念和入门演示
• Apache Doris 中 BITMAP 基本原理、数据类型和内置函数
• Apache Doris 中BITMAP 聚合函数的使用入门
• Apache Doris 中BITMAP_INTERSECT和INTERSECT_COUNT的使用入门和留存计算
• Apache Doris 动态分区表详细使用入门
• 项目实践：实现Kafka消息记录导入Apache Doris数据表【1】
• 项目实践：实现Kafka消息记录导入Apache Doris数据表【2】
• 项目实践：实现Kafka消息记录导入Apache Doris数据表【3】
• 项目实践KFD：Flink应用通过Kafka Connector组件消费Kafka数据
• 项目实践KFD：Flink消费Kafka数据进行统计处理
• 项目实践KFD：Flink统计处理之后的数据sink到Kafka
• 项目实践KFD：Flink对于迟到数据处理的开发实践
• 项目实践KFD：改进Flink输出到Kafka消息队列的数据格式
• 项目实践KFD：处理过的访问数据通过Routine Load导入到Doris
• 项目实践KFD：Flink统计处理之后的数据sink到Elasticsearch
• 一步一步编译最新版Apache Doris 0.15版本的详细过程
• 一步一步编译最新版Apache Doris 0.15中的扩展插件Flink Doris Connector
• Apache Doris集群从0.14到0.15版本平滑升级实战
• 基于Flink Doris Connector扩展插件的项目开发实践（1）
• 基于Flink Doris Connector扩展插件的项目开发实践（2）
• 基于Flink Doris Connector扩展插件的项目开发实践（3）
• ...