随笔分类 -  Hbase

Hbase 读写 原理
摘要：客户端读取信息流程 （1）client要读取信息，先查询下client 端的cache中是否存在数据，如果存在，刚直接返回数据。如果不存在，则进入到zookeeper，查找到里面的相应数据存在的Root表中的地址。 （2）BlockCache;设计用于读入内存频繁访问的数据，每个列族都有 （3）通过数据存在ROOT表中地址找到.META，最终找到HRegion。找到HRegio... 阅读全文
posted @ 2018-02-13 16:34 Alamps 阅读(406) 评论(0) 推荐(0) 编辑
Hbase 系统架构(zhuan)
摘要：一、系统架构 客户端连接hbase依赖于zookeeper，hbase存储依赖于hadoop client： 1、包含访问 hbase 的接口， client 维护着一些 cache（缓存） 来加快对 hbase 的访问，比如 region 的 位置信息。 （经常使用的表的位置信息） zookeep 阅读全文
posted @ 2018-02-12 11:16 Alamps 阅读(346) 评论(0) 推荐(0) 编辑
Hbaseflush处理流程
摘要：Hbaseflush处理流程 flush的处理是个生产者消费者模式，通过MemStoreFlusher.requestFlush或者requestDelayedFlush来收集请求，通过多个FlushHandler(个数由参数hbase.hstore.flusher.count配置默认值2)来进行flush处理。使用的消息队列是用的DelayQueue flush前会对region的状态做一些... 阅读全文
posted @ 2018-02-12 10:13 Alamps 阅读(825) 评论(0) 推荐(0) 编辑
hbase-java-api003(put list)
摘要：package api; import java.io.IOException; import java.util.ArrayList; import java.util.List; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import or... 阅读全文
posted @ 2017-11-25 17:02 Alamps 阅读(540) 评论(0) 推荐(0) 编辑
hbase-java-api002(flush)
摘要：package api; import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.client.Get; import org.apache... 阅读全文
posted @ 2017-11-25 16:55 Alamps 阅读(310) 评论(0) 推荐(0) 编辑
hbase-java-api001
摘要：package api; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.hbase.HBaseConfiguration; import org.apache.hadoop.hbase.client.HTable; import org.apache.hadoop.hbase.client.Put; ... 阅读全文
posted @ 2017-11-25 16:18 Alamps 阅读(225) 评论(0) 推荐(0) 编辑
Hbase java api
摘要：export JAVA_HOME=/home/hadoop/app/jdk1.8.0_144export HADOOP_HOME=/home/hadoop/app/hadoop-2.4.1export HIVE_HOME=/home/hadoop/app/apache-hive-0.14.0-bin 阅读全文
posted @ 2017-11-25 14:52 Alamps 阅读(535) 评论(0) 推荐(0) 编辑