随笔分类 -  HBase

摘要:简介 ● HBase是一个分布式的、面向列的开源数据库,开源版本默认提供了展示集群信息的UI,可以显示集群的实时信息,包括jmx,但是维护HBase只靠实时信息还不够,我们还需要将实时信息汇总起来变成监控图表,这样才能分析集群的运行状态,监控集群并及时发布告警。 ● Prometheus 是一个开源 阅读全文
posted @ 2021-04-06 15:54 彬在俊 阅读(489) 评论(0) 推荐(0) 编辑
摘要:目录 Hbase集群修复 Hbase调优 1. 操作系统级别调优 2. Hbase相关组件调优 3. HBase参数优化 4. Hbase业务调优 5. JVM调优 HBase故障原因 Hbase集群修复 HBase集群一致性主要包括两个方面 HBase Region一致性 集群中所有Region都 阅读全文
posted @ 2021-01-04 18:09 彬在俊 阅读(574) 评论(0) 推荐(0) 编辑
摘要:目录 1. Compaction实现 1.1 Compaction基本工作原理 1.1.1Compaction触发条件 1.1.2待合并HFile集合选择策略 2. 负载均衡实现 3. Region合并 4. Region的分裂 4.1 Region分裂触发条件 4.2 Region分裂准备工作 寻 阅读全文
posted @ 2021-01-02 16:29 彬在俊 阅读(184) 评论(0) 推荐(0) 编辑
摘要:目录 1. HBase写入流程 1.1 写入流程的三个阶段 1.1.1 客户端请求阶段 1.1.2 Region写入阶段 1.1.3 MemStore Flush阶段 1.1.3.1 Flush触发条件 1.1.3.2 flush执行流程 1.1.3.3 生成HFile 1.1.3.4 MemSto 阅读全文
posted @ 2021-01-01 17:06 彬在俊 阅读(195) 评论(0) 推荐(0) 编辑
摘要:目录 一、RegionServer的核心模块 1.1RegionServer内部结构 1.2HLog 1.3 MemStore 1.3.1 MemStore的GC问题 1.3.2 MSLAB内存管理方式 1.3.3 MemStore Chunk Pool 1.4 HFile 1.4.1 HFile中 阅读全文
posted @ 2020-12-28 17:02 彬在俊 阅读(209) 评论(0) 推荐(0) 编辑
摘要:一、Hbase基础数据结构与算法 Hase的一个 列簇 本质是一颗LSM树。LSM树索引结构分为内存和磁盘。 内存:(保证有序)平衡二叉树,红黑树,跳跃表 (考虑并发)选择了跳跃表。来维护一个有序的KeyValue集合。ConcurrSkipListMap 磁盘:布隆过滤器 + 多个内部k-v有序的 阅读全文
posted @ 2020-12-25 14:01 彬在俊 阅读(211) 评论(0) 推荐(0) 编辑
摘要:一、HBase体系结构 1. HBase 客户端 Hbase客户端访问数据行前,首先需要通过元数据表定位目标数据所在RegionServer,之后才会发送请求到该regionServer。同时这些元数据会被缓存在客户端本地,以方便后续的请求,如果该集群RegionServer发生宕机或者执行了负载均 阅读全文
posted @ 2020-12-23 10:03 彬在俊 阅读(249) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示