随笔分类 - HBase
摘要:1、说明 使用ambari+HDP集群安装的hbase,已经自带了phoenix,并已经做了集成; 这里需要修改/添加几个配置即可; 2、配置 #启用用户自定义函数(UDF) <property> <name>phoenix.functions.allowUserDefinedFunctions</
阅读全文
摘要:hbase开启rsgroup <property> <name>hbase.coprocessor.master.classes</name> <value>org.apache.hadoop.hbase.rsgroup.RSGroupAdminEndpoint,org.apache.hadoop.
阅读全文
摘要:原文参考:https://www.cnblogs.com/dreamfly2016/p/16471065.html 为hbase表数据指定过期时间,达到过期时间后,compaction时自动删除过期数据。 通常Hbase表默认TTL为FOREVER, 或者你可以指定一个TTL(单位秒)值 修改表结构
阅读全文
摘要:环境说明: CDH5.16.2 其中: hbase1.2.0 hadoop 2.6.0 1、导出其他集群HDFS上的hbase数据目录,放在了主机本地 2、将namespace名称为edm中的数据目录导入到现hbase集群中 现集群hdfs中的文件路径不能存在;在这里HDFS的路径是 /hbase/
阅读全文
摘要:由于请求不均匀,手动移动将一些region移动到请求量较低的region server 1、去某个region server中找到想要移动的region: 记录红框的id值,这个是唯一的region ID 2、查看RegionServer列表,记录region server信息 要把region移动
阅读全文
摘要:说明:集群A中有张表t1,现在想让往t1中写入数据后,集群B中的t1表,也会有这些数据,两个集群中的t1表,名字和结构一样; 操作案例: 【Hbase表集群间同步】源集群要更改hbase配置:hbase.replication => true 目标集群hbase配置不动; 并且hbase的WAL日志
阅读全文
摘要:HBase提供五个权限标识符:(RWXCA) R - 读 W - 写 X - 执行 C - 创建 A - 管理 例子: (1)授权namespace: Hbase授权zhangsan用户对ai namespace下的写权限: hbase>grant 'zhangsan','W','@ai' (2)授
阅读全文
摘要:hbase1版本向hbase2版本表数据迁移; #这里使用hbase的 Snapshot功能实现 1、源集群 flush刷新内存数据到磁盘hbase> flush 'tablename' 并且,如果条件允许,尽可能disable表; 2、源集群 ,创建表快照 hbase> snapshot '表名'
阅读全文
摘要:原文链接:https://blog.csdn.net/mingyuezh/article/details/80844925Region定位:系统如何找到某个row key (或者某个 row key range)所在的region?关于Region的查找,早期的设计(0.96.0)之前是被称之为三层查询架构,如下图所示:Region:就是要查找的数据所在的Region.META.:是一张元数据表,...
阅读全文
摘要:1、启动Phoenix监听端口#启动,端口:8765[root@node1 ~]# /opt/phoenix-4.11.0/bin/queryserver.py startstarting Query Server, logging to /tmp/phoenix/root-queryserver.log[root@node1 ~]# netstat -ntlp |grep 8765tcp6 ...
阅读全文
摘要:1、启动hbase的thrift #要启动thrift1,端口9090#可以多启动几个thrift1,让每个程序连接不同的thrift,减轻压力[root@node1 ~]# hbase-daemon.sh start thrift[root@node1 ~]# jps |grep "ThriftServer"49654 ThriftServer[root@node1 ~]# netstat -n...
阅读全文
摘要:1、创建hbase表--建表hbase(main):003:0> create 'test','cf'--查看hdfs目录,此时cf目录下没有数据[root@node1 ~]# hadoop fs -ls /hbase/data/default/testFound 3 itemsdrwxr-xr-x - root supergroup 0 2020-01-17 11:23 /...
阅读全文
摘要:原文:http://hbasefly.com/2017/07/26/transaction-2/1、关于hbase事务HBase目前只支持行级事务;可以保证行级数据的原子性、一致性、隔离性以及持久性,即通常所说的ACID特性。为了实现事务特性,HBase采用了各种并发控制策略,包括各种锁机制、MVCC机制等。2、hbase事务原子性hbase写数据:HBase数据会首先写入WAL,再写入Memst...
阅读全文
摘要:问题:列族中列名的数量不固定,随时变化问题分析:这种情况,在hive中提前做好映射是不可能的;解决:可以用hive中的map映射案例:hbase中建表:create 'user_profile','cf'hive建表:CREATE EXTERNAL TABLE user_profile ( username STRING, labels map )STORED BY 'org.apache.ha...
阅读全文
摘要:一、通过view映射hbase中的表 1、创建hbase表 hbase(main):005:0> create 'test1','cf1' hbase(main):006:0> put 'test1','rk0001','cf1:NAME','zhang1' hbase(main):007:0> p
阅读全文
摘要:一、关于PhoenixPhoenix最早是saleforce的一个开源项目,后来成为 Apache 基金的顶级项目。Phoenix是构建在HBase上的一个SQL层,能让我们用标准的JDBC APIs而不是HBase客户端APIs来创建表,插入数据和对HBase数据进行查询。Phoenix完全使用 Java 编写,作为HBase内嵌的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多...
阅读全文
摘要:原文:https://blog.csdn.net/odailidong/article/details/80551851一、引言HBase由于其存储和读写的高性能,在OLAP即时分析中越来越发挥重要的作用,在易观精细化运营产品--易观方舟也有广泛的应用。作为Nosql数据库的一员,HBase查询只能通过其Rowkey来查询(Rowkey用来表示唯一一行记录),Rowkey设计的优劣直接影响读写性能...
阅读全文
摘要:一、Hbase集成hivehttps://cwiki.apache.org/confluence/display/Hive/HBaseIntegration1、说明Hive与HBase整合在一起,使Hive可以读取HBase中的数据,让Hadoop生态系统中最为常用的两大框架互相结合,使用Hive读取Hbase中的数据。我们可以使用HQL语句在HBase表上进行查询、插入操作;甚至是进行Join和...
阅读全文