随笔分类 - HBase
发表于 2020-12-22 22:03阅读:169评论:0推荐:0
摘要:HBase API操作 1、环境准备 新建项目后在pom.xml中添加依赖: <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-server</artifactId> <version>1.3.1</version>
阅读全文 »
发表于 2020-12-19 10:35阅读:198评论:0推荐:0
摘要:Hbase表设计 1. RowKey设计 Rowkey设计三原则 一、rowkey长度原则 越短越好,不要超过16个字节。 二、rowkey散列原则 三、rowkey唯一原则 2.列簇设计 最好一个列簇,命名一个字符足以。 3. 建表高级属性 1、BLOOMFILTER(布隆过滤器) 使用方法: c
阅读全文 »
发表于 2020-12-19 10:34阅读:232评论:0推荐:0
摘要:Hbase的读写过程 Hbase的读过程 1、客户端通过ZooKeeper以及-ROOT-表和.META.表找到目标数据所在的RegionServer(就是数据所在的 Region的主机地址) 2、联系RegionServer查询目标数据 3、RegionServer定位到目标数据所在的Region
阅读全文 »
发表于 2020-12-19 10:33阅读:404评论:0推荐:0
摘要:Hbase各组件职责 Client职责 1、HBase有两张特殊表: .META.:记录了用户所有表拆分出来的的Region映射信息,.META.可以有多个Regoin -ROOT-:记录了.META.表的Region信息,-ROOT-只有一个Region,无论如何不会分裂 2、Client访问用户
阅读全文 »
发表于 2020-12-18 11:39阅读:82评论:0推荐:0
摘要:使用 用来做大数据去重的。并且占用空间小。 原理 有一个全为0的byte数组 array。 把一个字符串a,使用hash算法,变成一个整数g,然后把array【g】位置的数变为1,代表这个数据出现过。 下次判断字符串a是否存在,就判断array【g】位置是否为1 。为1就存在,为0 就不存在。 优点
阅读全文 »
发表于 2020-12-17 17:44阅读:143评论:0推荐:0
摘要:Hbase系列文章 HBase(一): c#访问hbase组件开发 HBase(二): c#访问HBase之股票行情Demo HBase(三): Azure HDInsigt HBase表数据导入本地HBase 基于HDInsight 3.4 HBase集群规划参考 hadoop(四): 本地 hb
阅读全文 »
发表于 2020-12-11 21:15阅读:167评论:0推荐:0
摘要:问题: hbase 集群启动不了,maste一直在初始化,数据面临丢失风险。 解决: 把hbfs上 /hbase 目录移走 改名为/hbase-bak 删除zk上的数据,重新建立一个新的hbase集群. 使用如下代码, 把/hbase-bak里面的数据恢复到 现有的hbase集群中. public
阅读全文 »