Hbase - 文章分类 - niutao

关于centos6版本执行程序报错：libc.so.6: version GLIBC_2.14 not found的解决

摘要：执行后程序报错： libc.so.6: version GLIBC_2.14 not found 这种情况是因为当前服务器glibc的版本比较低造成的（不出意外是glibc_2.12是最高版本）； 1、首先通过命令查看服务器的glibc的版本 strings /lib64/libc.so.6 |gr 阅读全文

posted @ 2019-09-06 16:17 niutao 阅读(1221) 评论(0) 推荐(1) 编辑

记一次phoenix在不加索引的情况调优，由6s以上时间变成不到1s

摘要：背景：网约车预约单查询：这里面恶心的地方是： 1个时间窗口要查询6种时间：推送订单时间（来自mongodb）、有效抢单时间（来自mongodb）、抢单成功时间（实时kafka）、取消订单时间（实时kafka）、到达目的地时间（实时kafka）、支付时间（实时kafka）根据现实的业务情况，乘客阅读全文

posted @ 2019-08-20 22:02 niutao 阅读(1224) 评论(0) 推荐(0) 编辑

记一次springboot+mybatis+phoenix在代码集成中的坑

摘要：场景：希望使用phoenix做查询服务，给服务端提供接口设计：通过springboot做restful的接口发布，通过mybatis做phoenix的sql处理，因此是springboot+mybatis+phoenix的集成方案；但是会遇到一个坑! 我是华丽的分割线先简单汇报下场景：做阅读全文

posted @ 2019-07-23 21:23 niutao 阅读(2737) 评论(8) 推荐(0) 编辑

关于hbase的数据迁移

摘要：场景：一套自己编译的Hbase集群 A 一套自己通过cloudera平台搭建的Hbase集群 B 注意：（我的两套集群是同一个网段的）方式1：通过快照方式进行数据迁移（不需要提前建表） 1）：首先现在老集群A上进行快照制作（hbase命令行） hbase> snapshot '要快照的表名ta 阅读全文

posted @ 2019-07-20 17:45 niutao 阅读(1644) 评论(0) 推荐(0) 编辑

关于phoenix构建hbase视图，更新hbase表后，视图表是否更新的验证

摘要：1：创建表 create 'MY_TABLE', 'CF1','CF2' 2：在hbase上插入一条数据 put 'MY_TABLE','1' ,'CF1:V1', 'uwo1' 3：在phoenix上创建视图 create view MY_TABLE (PK varchar primary key 阅读全文

posted @ 2019-07-09 14:27 niutao 阅读(1015) 评论(1) 推荐(0) 编辑

记一次protobuf和hbase自带protobuf版本冲突的解决

摘要：使用protobuf生产模板代码，使用的版本是： <dependency> <groupId>com.google.protobuf</groupId> <artifactId>protobuf-java</artifactId> <version>3.6.1</version> </depende 阅读全文

posted @ 2019-07-02 18:38 niutao 阅读(5916) 评论(1) 推荐(0) 编辑

记一次newApiHadoopRdd查询数据不一致问题

posted @ 2019-05-07 12:46 niutao 阅读(1055) 评论(1) 推荐(0) 编辑

编译phoneix源码，整合Hbase

摘要：Hbase版本：1.2.0-cdh5.14.0 1）：下载phoneix源码链接:https://pan.baidu.com/s/1uryK_jLEekdXV04DRc3axg 密码:bkqg 2）：解压后，更改pom文件，指定你需要的cdh版本因为我的是CDH5.14.0，所以要更改为我的版本阅读全文

posted @ 2019-04-29 11:31 niutao 阅读(717) 评论(0) 推荐(0) 编辑

关于snappy的压缩 hadoop和hbase均支持

摘要：临时做个随笔下载snappy-1.1.1.tar.gz 解压后需要提前安装： yum -y update gccyum -y install gcc+ gcc-c++ 然后在解压后的snappy目录执行： ./confurati make make install 解压完毕会在/usr/local 阅读全文

posted @ 2019-04-29 01:04 niutao 阅读(348) 评论(0) 推荐(0) 编辑

实时同步到Hbase的优化-1

摘要：最近没有管测试环境的，上去看了下，好家伙，kafka羁留了上百万数据，于是打算把数据同步到测试的Hbase库中，在这期间发现了插入性能问题 def putMapData(tableName: String , columnFamily:String, key:String , mapData:Map 阅读全文

posted @ 2019-04-28 18:58 niutao 阅读(596) 评论(0) 推荐(0) 编辑

关于Hbase的预分区，解决热点问题

摘要：Hbase默认建表是只有一个分区的，开始的时候所有的数据都会查询这个分区，当这个分区达到一定大小的时候，就会进行做split操作；因此为了确保regionserver的稳定和高效，应该尽量避免region分裂和热点的问题；那么有的同学在做预分区的时候，可能是按照： 1）：通过Hbase提供的a 阅读全文

posted @ 2019-04-27 21:13 niutao 阅读(1247) 评论(0) 推荐(0) 编辑

关于Hbase开启snappy压缩

摘要：版本：自己编译的hbase-1.2.0-cdh5.14.0 默认情况下，Hbase不开启snappy压缩 , 所以在hbase的lib/native目录下什么也没有（我的前提是执行hadoop checknative可以看到hadoop是支持snappy的）第一步：需要将snappy-java- 阅读全文

posted @ 2019-04-27 16:42 niutao 阅读(2409) 评论(0) 推荐(0) 编辑

记一次Hbase的行键过滤器事故问题

摘要：数据总数：746条数据因为后面需要进行算法合成，而且spark目前对这种算法支持并不好，因此采用代码编写，所以在查询hbase的过程中采用的是java直接查询，但是为了加快查询速度，我尽可能的使用了过滤器 1：初期Hbase的rowkey组合：时间+"_"+订单id 查询思路： 1：能快速检索，阅读全文

posted @ 2019-04-18 23:29 niutao 阅读(745) 评论(0) 推荐(0) 编辑

Hbase写Hfile报错：Trying to load more than 32 hfiles to one family of one region

摘要：在写Hfile的时候，如果一个family下超过了默认的32个hfile，就会报如下错误： ERROR mapreduce.LoadIncrementalHFiles: Trying to load more than 32 hfiles to family d of region with st 阅读全文

posted @ 2019-04-10 13:29 niutao 阅读(2292) 评论(0) 推荐(0) 编辑

Hbase合并Region的过程中出现永久RIT的解决

摘要：在合并Region的过程中出现永久RIT怎么办？笔者在生产环境中就遇到过这种情况，在批量合并Region的过程中，出现了永久MERGING_NEW的情况，虽然这种情况不会影响现有集群的正常的服务能力，但是如果集群有某个节点发生重启，那么可能此时该RegionServer上的Region是没法均衡的。阅读全文

posted @ 2019-03-30 15:47 niutao 阅读(1566) 评论(0) 推荐(0) 编辑

HBase总结 LSM理解

摘要：转载的文章，觉得写的比较好讲LSM树之前，需要提下三种基本的存储引擎，这样才能清楚LSM树的由来：哈希存储引擎是哈希表的持久化实现，支持增、删、改以及随机读取操作，但不支持顺序扫描，对应的存储系统为key-value存储系统。对于key-value的插入以及查询，哈希表的复杂度都是O(1)，明阅读全文

posted @ 2019-03-30 14:26 niutao 阅读(3119) 评论(0) 推荐(0) 编辑

Hbase服务报错：splitting is non empty': Directory is not empty

摘要：Hbase版本：1.2.0-cdh5.14.0 报错内容： org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.fs.PathIsNotEmptyDirectoryException): `/hbase/WALs/hadoop03,6002 阅读全文

posted @ 2016-03-25 12:09 niutao 阅读(1283) 评论(0) 推荐(0) 编辑

Hbase的写入负载均衡

摘要：在写Hbase的时候，会担心数据分布在各个region上不均匀（与预分区无关）；这个时候可能想到的方式：hash、加盐等（当然是可以的，但是读取的时候咋办呢？哪天写一个这样的文章）本文采用新方式： <repository> <id>cloudera</id> <url>https://repo 阅读全文

posted @ 2016-03-17 17:48 niutao 阅读(719) 评论(0) 推荐(0) 编辑

文章分类 - Hbase