底层架构


一:角色分类
(1)Coordinator 协调器: 协调器服务监视数据服务器上的历史服务。他们负责将区段分配给特定服务器,并确保区段在历史服务器之间保持良好的平衡。
(2)Overlord: 控制数据摄入任务的分配,Overlord 服务监视数据服务器上的 MiddleManager 服务,并且是将数据摄取到 Druid 。他们负责将引入任务分配给MiddleManager,并协调segment发布。
(3)Broker: 处理来自外部客户端的查询,代理服务接收来自外部客户端的查询,并将这些查询转发到数据服务器。当 Broker 收到来自这些子查询的结果时,它们会合并这些结果并将其返回给调用方。
(4)Router:路由请求到 Brokers, Coordinators, and Overlords.
(5)Historical:数据的存储,存储历史数据。
(6)MiddleManager 和 Peon:管理具体数据的摄入,并存储实时数据。
(7)Indexer:索引器是 MiddleManager + Peon 任务执行系统的替代方法。

二:外部依赖
(1):深度存储
通常使用hdfs,实时任务发送segment,会将数据存储的深度存储,然后coordinator 通知historical节点从hdfs加载到磁盘。

(2):元数据存储
元数据存储保存各种共享系统元数据,例如区段使用情况信息和任务信息。在群集部署中,这通常是传统的 RDBMS,如 PostgreSQL 或 MySQL。在单服务器部署中,它通常是本地存储的 Apache Derby 数据库。

(3):zookeeper
用于内部服务发现、Coordinator和Overlord选举。

posted on 2024-05-03 12:29  天生一对  阅读(81)  评论(0编辑  收藏  举报

导航