摘要: LSM树由来、设计思想以及应用到HBase的索引 阅读全文
posted @ 2020-07-05 19:19 bitbitbyte 阅读(110) 评论(0) 推荐(0) 编辑
摘要: 基本概念 HFile文件 保存在磁盘的hbase表数据文件, 格式为HFile。数据块为存储单元, 默认认大小64KB。 MemStore 写缓存,由于HFile中的数据要求是有序的,数据是先在MemStore中,排好序后,再刷写到HFile. 每次刷写都会形成一个新的HFile。 WAL 数据会先写WAL(Write-Ahead logfile)日志文件文件中,然后再写入MemSto... 阅读全文
posted @ 2020-07-05 18:59 bitbitbyte 阅读(262) 评论(0) 推荐(0) 编辑
摘要: 目的 在执行刷写时,将部分过时的数据舍去,最多保留列族VERSIONS数量的put类型的cell. 在刷写时,会将memstore中的rowkey进行排序后,再刷写,方便在查询时,快速检索数据 手动刷写 flush "表名" flush "region名" 刷写后磁盘上的HFile文件可以通过HBase提供的工具查看 habase org.apache.hadoop.hhase.io... 阅读全文
posted @ 2020-07-05 18:58 bitbitbyte 阅读(249) 评论(0) 推荐(0) 编辑
摘要: WAL机制概述 WAL(Write-ahead logging)预写式日志, 为数据库系统提供原子性和持久化的一些列操作, 几乎在所有非内存数据库都会使用. WAL机制不仅可以提升写性能, 还可以保证数据可靠性. WAL关键点在于先写日志再写磁盘。 在数据写入之前首先顺序写入日志,然后再写入缓存,等 阅读全文
posted @ 2020-07-05 18:58 bitbitbyte 阅读(768) 评论(0) 推荐(0) 编辑