随笔- 409 文章- 1 评论- 187 阅读- 246万

Apache Druid 安装和使用

一、简介

Apache Druid（之前称为Imply）是一个开源的、高性能的、实时的分布式数据存储和分析系统。它专注于支持大规模的实时数据探索和分析，适用于处理时序数据和多维度事件。Apache Druid具有高度的水平扩展性，能够处理大量数据，并提供快速的交互式查询和实时分析。其数据模型基于分段（Segment），允许数据在不同层次上进行汇总和聚合。支持SQL和JSON风格的查询语言，使用户能够方便地进行复杂的数据分析。Apache Druid的设计理念包括近实时数据摄入、快速数据索引和聚合，以及多维度数据切片和刷新。该系统被广泛用于大数据场景，包括日志分析、事件监控、业务智能、实时报告和推荐系统等领域。由于其灵活性和性能优势，Apache Druid在快速数据分析和实时数据探索方面具有显著的优势。作为Apache软件基金会的顶级项目，Apache Druid拥有强大的社区支持和活跃的开发社区。

1、官网地址

https://druid.apache.org/

2、文档地址

https://druid.apache.org/docs/28.0.1/design/

3、时序数据库排名

根据2024年1月最新统计，目前Apache Druid在时序数据库“家族”中排第7名，相比2023年1月上升了2个名次。

二、优势和劣势

Apache Druid具有许多优势和劣势，这些特点取决于具体的使用场景和需求。以下是一些Apache Druid的优势和劣势：

1、优势

1）实时数据处理：Apache Druid专注于实时数据存储和分析，能够快速处理和查询大规模实时数据流，适用于需要及时洞察数据的场景。
2）高性能：Druid采用了一系列性能优化策略，包括列式存储、分段数据结构和索引等，使其在大规模数据集上表现出色，具有高吞吐量和低查询延迟。
3）多维度数据分析：支持多维度的数据模型，支持多维度数据切片和聚合，使用户能够进行复杂的数据探索和交互式查询，适用于需要深入分析多维度数据的应用。
4）灵活的架构：具有高度可扩展性的架构，能够水平扩展以处理大量数据。支持实时和离线模式，可以满足不同场景的需求。
5）灵活的数据摄入：Apache Druid提供近实时的数据摄入能力，能够快速处理和索引数据流，并支持多种数据源的接入。
6）丰富的生态系统：Apache Druid拥有活跃的社区和丰富的生态系统，提供了各种插件、集成和工具，使用户能够更方便地使用和扩展系统。
7）易用性：提供SQL和JSON风格的查询语言，使用户能够以熟悉的方式进行数据查询和分析。此外，它还支持各种可视化工具的集成。

2、劣势

1）学习曲线：对于新用户来说，Apache Druid可能有一定的学习和理解成本，特别是在配置和优化方面。这可能需要一些时间来适应和掌握。
2）资源消耗：在处理大规模数据时，Apache Druid可能需要较多的硬件资源，包括内存和存储。这可能会导致一些成本方面的考虑。
3）复杂性：对于某些简单的数据存储和查询需求，Apache Druid的强大功能可能显得过于复杂，不太适合小规模或简单的应用场景。
4）数据更新和删除限制：Druid主要面向时间序列数据，对于已存储的数据更新和删除相对有限，更适合于追加写入型数据场景。
5）实时性要求：对于某些对实时性要求非常高的场景，Apache Druid的实时处理能力可能不足以满足需求，尤其是在特别高频率的数据写入场景中。
6）维护和管理复杂性：Druid的分布式架构和配置管理可能增加了一定的维护和管理复杂性，需要合适的运维和监控策略。

综合考虑，Apache Druid在实时查询、高性能、多维度数据分析和可扩展性等方面具备显著优势，在大规模实时数据分析场景下表现出色，但在学习曲线和硬件要求上可能存在一些挑战，在选择使用时，需要根据具体需求和应用场景权衡其优势和劣势。

三、Apache Druid安装

1、前提条件

按照官网文档说明，安装该软件的机器，需要满足如下需求：
1）Linux, Mac OS X, or other Unix-like OS. (Windows is not supported)
2）Java 8u92+, 11, or 17
3）Python 3 (preferred) or Python 2
4）Perl 5

由于Apache Druid不支持Windows操作系统，个人使用的是CentOS 7.9操作系统，进行安装测试，Linux机器相关信息如下：