2021年7月26日
hbase-15-如何查看HFile
摘要： 命令 ➜ bin ./hbase hfile 2021-07-26 18:03:56,810 WARN [main] util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using buil 阅读全文
posted @ 2021-07-26 18:16 sixinshuier 阅读(74) 评论(0) 推荐(0) 编辑
Hbase-14-MemStore Flush的触发时机
摘要： Hbase MemStore Flush的触发时机 MemStore 级别限制： hbase.hregion.memstore.flush.size 默认值： 128M hbase.hregion.memstore.flush.size 设置Memstore的大小，默认大小是128M，当超过这个值的 阅读全文
posted @ 2021-07-26 17:44 sixinshuier 阅读(155) 评论(1) 推荐(0) 编辑
Hbase-13-MemStore
摘要： HBase基于LSM树模型实现，所有的数据写入操作首先会顺序写入日志HLog，再写入MemStore，当MemStore中数据大小超过阈值之后再将这些数据批量写入磁盘，生成一个新的HFile文件。 HBase Table 的每个 Column family 维护一个 MemStore，当满足一定条件 阅读全文
posted @ 2021-07-26 17:41 sixinshuier 阅读(74) 评论(0) 推荐(1) 编辑
Hbase-12-故障恢复
摘要： 1.Region Server 宕机的原因： Full GC导致 网络异常导致 官方Bug 导致 DataNode异常导致 2.故障恢复三部曲 Log Splitting Distributed Log Splitting Distributed Log Replay 3.故障恢复流程 这些场景下一 阅读全文
posted @ 2021-07-26 16:05 sixinshuier 阅读(155) 评论(0) 推荐(0) 编辑
HBase-11-日志分割 (log splitting)
摘要： 1.概述 一个region server上的所有region共用一个Hlog, hlog用来在系统异常down掉，MemStore中大量更新丢失时，对数据进行恢复。 然而，对每个region的更新在hlog里不是连续的，而是分散在Hlog里的。Hlog中的每项更新都会记录该更新所属的region, 阅读全文
posted @ 2021-07-26 12:51 sixinshuier 阅读(499) 评论(0) 推荐(1) 编辑