Hbase - 随笔分类 - 山高似水深

Hbase 一次表异常，有一张表无法count scan 一直显示重连

摘要：无论是scan 还是count 甚至是复制表都不行无奈打开 hbck工具发现一个不一致，不一致的表就是我操作的表 z_activeagent 启动修复经历了一直权限不一致的问题，直接狠狠心全部给他改成 hadoop用户的了再次修复重新分配一下，完事！阅读全文

posted @ 2018-01-04 15:25 山高似水深阅读(3981) 评论(2) 推荐(0) 编辑

HBase 官方文档中文版

摘要：地址链接： http://abloz.com/hbase/book.html 里面包含基本的API和使用说明阅读全文

posted @ 2017-05-09 17:49 山高似水深阅读(167) 评论(0) 推荐(0) 编辑

hbase.client.RetriesExhaustedException: Can't get the locations hive关联Hbase查询报错

摘要：特征1： hbase.client.RetriesExhaustedException: Can't get the locations 特征2： hbase日志报错如下：org.apache.zookeeper.KeeperException$ConnectionLossException: Ke 阅读全文

posted @ 2016-10-17 13:02 山高似水深阅读(8337) 评论(0) 推荐(0) 编辑

hive与hbase整合方式和优劣

摘要：分别安装hive 和 hbase 1、在hive中创建与hbase关联的表 2、可以在hive中使用hsql 来插入数据并同时在hbase中也可以scan到 3、可以在hbase中使用来插入数据，支持更新，插入同样rowkey的数据，最新的数据会覆盖前面一条 4、如果需要清空表，在hbase中tru 阅读全文

posted @ 2016-08-18 14:34 山高似水深阅读(3967) 评论(0) 推荐(0) 编辑

Hbase表重命名表改名

摘要：PS：现在我有个表：test11_new ，我要给他改名开始：新的表名如上再scan一下 ok，到此结束！阅读全文

posted @ 2016-08-17 18:06 山高似水深阅读(29124) 评论(1) 推荐(0) 编辑

hbase性能调优（转载）

摘要：一、服务端调优 1、参数配置 1）、hbase.regionserver.handler.count：该设置决定了处理RPC的线程数量，默认值是10，通常可以调大，比如：150，当请求内容很大（上MB，比如大的put、使用缓存的scans）的时候，如果该值设置过大则会占用过多的内存，导致频繁的GC，阅读全文

posted @ 2016-08-11 16:10 山高似水深阅读(862) 评论(0) 推荐(0) 编辑

Hbase优化记录

摘要：<configuration><property><name>hbase.rootdir</name><value>hdfs://gagcluster/hbase</value></property><property><name>hbase.zookeeper.property.dataDir</ 阅读全文

posted @ 2016-08-11 15:18 山高似水深阅读(456) 评论(0) 推荐(0) 编辑

基于:Hadoop 2.6.0-cdh5.4.0 hive1.1.0 HBase 1.0.0-cdh5.4.0 关键配置文件

摘要：core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml hadoop-env.sh hive-env.sh hive-site.xml hbase-site.xml zoo.cfg 阅读全文

posted @ 2016-08-09 16:39 山高似水深阅读(1317) 评论(0) 推荐(0) 编辑

数据从HDFS-->HIVE-->HBASE 执行过程

摘要：1、数据已经load进去hdfs 2、hive、hbase已经安装成功（我用的是hadoop 2.4 hbase 0.98.12 hive 1.2.1） 3、开始！ 4、在hive建立表同时生成对应的一张Hbase表，分别在hive和hbase用show tables;和list查看是否生成对应的表 create table hive3 (key string,phone string... 阅读全文

posted @ 2016-08-09 15:58 山高似水深阅读(778) 评论(0) 推荐(0) 编辑

MongoDB数据导入hbase + 代码

摘要：需求：从mongoDB里面查出来数据，判断是否有该列簇，如果有则导入此条数据+列簇，如果没有，则该条数据不包含该列簇直接贴出代码： package Test; import java.util.ArrayList; import java.util.Iterator; import java.util.List; import java.util.Set; import org.ap... 阅读全文

posted @ 2016-08-09 11:57 山高似水深阅读(2840) 评论(0) 推荐(0) 编辑

Hbase批量插入优化记录

摘要：2016年5月11日10:08:29 hbase原本的put方式是一条一条的put，在客户端修改 AutoFlush 将HTable的setAutoFlush设为false，可以支持客户端批量更新。即当Put填满客户端flush缓存时，才发送到服务端。默认是true。例如： HTable hTable = new HTable(conf, tableName); hTable.setA... 阅读全文

posted @ 2016-08-09 11:56 山高似水深阅读(1492) 评论(0) 推荐(0) 编辑

随笔分类 - Hbase