随笔 - 483, 文章 - 0, 评论 - 2, 阅读 - 18万

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

随笔分类 -  Hbase

摘要:因官方Book Performance Tuning部分章节没有按配置项进行索引,不能达到快速查阅的效果。所以我以配置项驱动,重新整理了原文,并补充一些自己的理解,如有错误,欢迎指正。配置优化zookeeper.session.timeout 默认值:3分钟(180000ms) 说明... 阅读全文

posted @ 2016-03-15 21:15 ggzone 阅读(154) 评论(0) 推荐(0) 编辑

摘要:转自:http://blog.csdn.net/stark_summer/article/details/44174381 未实验最近一个群友的boss让研究hbase,让hbase的入库速度达到5w+/s,这可愁死了,4台个人电脑组成的集群,多线程入库调了好久,速度也才1w左右,都... 阅读全文

posted @ 2016-03-05 11:53 ggzone 阅读(188) 评论(0) 推荐(0) 编辑

摘要:import java.sql.{DriverManager, ResultSet}import org.apache.spark._import org.apache.spark.streaming._import scala.util.Randomimport org.apach... 阅读全文

posted @ 2016-03-05 11:12 ggzone 阅读(141) 评论(0) 推荐(0) 编辑

摘要:python:print '\xE4\xB8\xAD\xE5\x9B\xBD\xE7\x9A\x84\xE4\xB8\x8A\xE5\x8D\x88'.decode('utf-8') 阅读全文

posted @ 2016-03-05 11:11 ggzone 阅读(607) 评论(0) 推荐(0) 编辑

摘要:import org.apache.hadoop.hbase.{HTableDescriptor,HColumnDescriptor,HBaseConfiguration,TableName}import org.apache.hadoop.hbase.client.{Connect... 阅读全文

posted @ 2016-03-05 11:09 ggzone 阅读(197) 评论(0) 推荐(0) 编辑

摘要:错误日志:regionserver.HRegionServer: Failed deleting my ephemeral nodezookeeper.RecoverableZooKeeper: ZooKeeper delete failed after 4 attempts解决:a... 阅读全文

posted @ 2016-01-30 13:49 ggzone 阅读(326) 评论(0) 推荐(0) 编辑

摘要:CREATE EXTERNAL TABLE table1(key string,zoneid int,result int,) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROP... 阅读全文

posted @ 2016-01-30 13:09 ggzone 阅读(190) 评论(0) 推荐(0) 编辑

摘要:sqoop import --driver com.mysql.jdbc.Driver --connect "jdbc:mysql://11.143.18.29:3306/db_1" --username root --password root --query "select r... 阅读全文

posted @ 2016-01-30 13:03 ggzone 阅读(1094) 评论(2) 推荐(0) 编辑

摘要:$HBASE_HOME/bin/hbase org.apache.hadoop.hbase.mapreduce.RowCounter 'tablename' 阅读全文

posted @ 2016-01-30 12:57 ggzone 阅读(147) 评论(0) 推荐(0) 编辑

摘要:问题: 需要查询某一用户某时间做了什么,PlatID和vopenid可以保证一个用户唯一,但同一时间同一用户可能日志有多条。 使用PlatID(int)、vopenid(int)和dtTime(datetime)查询保持所有rowkey长度一致 PlatID总是一位,vopenid不... 阅读全文

posted @ 2016-01-24 12:37 ggzone 阅读(576) 评论(0) 推荐(0) 编辑

摘要:环境:hadoop2.6.1,zk3.4.61.配置环境变量 sudo vi /etc/profile.d/hbase-env.shexport HBASE_HOME=/usr/local/hbase-1.1.2export PATH=$PATH:/usr/local/hbase-1... 阅读全文

posted @ 2016-01-16 13:23 ggzone 阅读(1127) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示