2017年9月14日
摘要: http://blog.csdn.net/heyutao007/article/details/38741207 阅读全文
posted @ 2017-09-14 17:34 yanzibuaa 阅读(161) 评论(0) 推荐(0) 编辑
摘要: http://blog.csdn.net/map_lixiupeng/article/details/40861791 http://blog.csdn.net/map_lixiupeng/article/details/40861475 阅读全文
posted @ 2017-09-14 17:33 yanzibuaa 阅读(472) 评论(0) 推荐(0) 编辑
摘要: 1 Compact的方式 HBase MemStore每次进行Flush操作都会产生新的HFile文件,文件越来越多,会带来读性能问题, HBase使用Compact机制来解决这个问题。 HBase的Compact分两种minor compact 和major compact。 Minor comp 阅读全文
posted @ 2017-09-14 17:32 yanzibuaa 阅读(1859) 评论(0) 推荐(0) 编辑
摘要: http://blog.csdn.net/map_lixiupeng/article/details/40832929 阅读全文
posted @ 2017-09-14 17:32 yanzibuaa 阅读(780) 评论(0) 推荐(0) 编辑
摘要: 1. 为什么split 最初一个Table 只有一个region(因此只能存放在一个region server上)。随着数据的不断写入,HRegion越来越大,当到达一定程度后分裂为两个,通过负载均衡可以将不同的region分配到不同的region server上,发挥分布式系统的优点。 注意:co 阅读全文
posted @ 2017-09-14 17:30 yanzibuaa 阅读(1641) 评论(0) 推荐(0) 编辑
摘要: 1.Region 分配 HMaster负责为Region 分配Region Server,一个Region 只能分配给一个Region server。 HMaster中 记录: 哪些Region 已经分配到哪些Region Server中 哪些Region server 可用 哪些Region 尚未 阅读全文
posted @ 2017-09-14 17:14 yanzibuaa 阅读(2420) 评论(0) 推荐(0) 编辑
摘要: 1.HBase系统架构 2. HRegion Sever架构图 0.94之前的版本 0.96+的版本 WAL: 即Write Ahead Log, 是HDFS上一个文件,早期版本中称为HLog,用以存储尚未进行持久化的数据。 所有写操作都会先保证将数据写入这个Log文件后,才会真正更新MemStor 阅读全文
posted @ 2017-09-14 17:08 yanzibuaa 阅读(8021) 评论(0) 推荐(0) 编辑
摘要: 遗留问题: 数据在更新时首先写入Log(WAL log)和内存(MemStore)中,MemStore中的数据是排序的,当MemStore累计到一定阈值时,就会创建一个新的MemStore,并且将老的MemStore添加到flush队列,由单独的线程flush到磁盘上,成为一个StoreFile。于 阅读全文
posted @ 2017-09-14 15:32 yanzibuaa 阅读(293) 评论(0) 推荐(0) 编辑