上一页 1 ··· 36 37 38 39 40 41 42 43 44 ··· 51 下一页
摘要: @ 日志存储 1. 文件目录布局 Kafka中的消息是以主题为基本单位,各个主题在逻辑上相互独立。 一个分区对应一个日志(Log),为了防止Log过大,Kafka有引入日志分段(LogSegment),将Log切分成多个LogSegment,有利于消息的维护和清理。 向Log追加消息是顺序写入,只有 阅读全文
posted @ 2021-01-13 15:54 彬在俊 阅读(210) 评论(0) 推荐(0) 编辑
摘要: @ 主题与分区 1. 主题的管理 主题的管理包括创建主题,查看主题信息,修改主题,删除主题。 1.1 创建主题 创建主题语句 bin/kafka-topics.sh --zookeeper localhost:2181/kafka --create --topic test --partitions 阅读全文
posted @ 2021-01-13 13:36 彬在俊 阅读(197) 评论(0) 推荐(0) 编辑
摘要: @ 1. 消费者 消费者Consumer负责订阅kafka中的主题。并从主题中拉取消息。每个消费者都有一个对应的消费组。 两个消费组之间互不影响,每一个分区只能被一个消费组中的一个消费者所消费。 我们可以增加(或减少)消费者的个数来提高(或降低)整体的消费能力,但是过多增加消费者个数并不能一致提高消 阅读全文
posted @ 2021-01-13 13:34 彬在俊 阅读(236) 评论(0) 推荐(0) 编辑
摘要: @ 1. 基本概念 kafka系统架构如图: Kafka 架构分为以下几个部分 Producer :消息生产者,就是向 kafka broker 发消息的客户端。 Consumer :消息消费者,向 kafka broker 取消息的客户端。 Topic :可以理解为一个队列,一个 Topic 又分 阅读全文
posted @ 2021-01-13 13:32 彬在俊 阅读(436) 评论(0) 推荐(0) 编辑
摘要: 目录 Hbase集群修复 Hbase调优 1. 操作系统级别调优 2. Hbase相关组件调优 3. HBase参数优化 4. Hbase业务调优 5. JVM调优 HBase故障原因 Hbase集群修复 HBase集群一致性主要包括两个方面 HBase Region一致性 集群中所有Region都 阅读全文
posted @ 2021-01-04 18:09 彬在俊 阅读(552) 评论(0) 推荐(0) 编辑
摘要: 目录 1. Compaction实现 1.1 Compaction基本工作原理 1.1.1Compaction触发条件 1.1.2待合并HFile集合选择策略 2. 负载均衡实现 3. Region合并 4. Region的分裂 4.1 Region分裂触发条件 4.2 Region分裂准备工作 寻 阅读全文
posted @ 2021-01-02 16:29 彬在俊 阅读(174) 评论(0) 推荐(0) 编辑
摘要: 目录 1. HBase写入流程 1.1 写入流程的三个阶段 1.1.1 客户端请求阶段 1.1.2 Region写入阶段 1.1.3 MemStore Flush阶段 1.1.3.1 Flush触发条件 1.1.3.2 flush执行流程 1.1.3.3 生成HFile 1.1.3.4 MemSto 阅读全文
posted @ 2021-01-01 17:06 彬在俊 阅读(177) 评论(0) 推荐(0) 编辑
摘要: 目录 一、RegionServer的核心模块 1.1RegionServer内部结构 1.2HLog 1.3 MemStore 1.3.1 MemStore的GC问题 1.3.2 MSLAB内存管理方式 1.3.3 MemStore Chunk Pool 1.4 HFile 1.4.1 HFile中 阅读全文
posted @ 2020-12-28 17:02 彬在俊 阅读(202) 评论(0) 推荐(0) 编辑
摘要: 一、Hbase基础数据结构与算法 Hase的一个 列簇 本质是一颗LSM树。LSM树索引结构分为内存和磁盘。 内存:(保证有序)平衡二叉树,红黑树,跳跃表 (考虑并发)选择了跳跃表。来维护一个有序的KeyValue集合。ConcurrSkipListMap 磁盘:布隆过滤器 + 多个内部k-v有序的 阅读全文
posted @ 2020-12-25 14:01 彬在俊 阅读(202) 评论(0) 推荐(0) 编辑
摘要: 一、HBase体系结构 1. HBase 客户端 Hbase客户端访问数据行前,首先需要通过元数据表定位目标数据所在RegionServer,之后才会发送请求到该regionServer。同时这些元数据会被缓存在客户端本地,以方便后续的请求,如果该集群RegionServer发生宕机或者执行了负载均 阅读全文
posted @ 2020-12-23 10:03 彬在俊 阅读(245) 评论(0) 推荐(0) 编辑
上一页 1 ··· 36 37 38 39 40 41 42 43 44 ··· 51 下一页