2015年7月31日
摘要: 2014-12-18 03:21:03 Starting to launch local task to process map join; maximum memory = 10654842882014-12-18 03:21:08 Processing rows: 200000 Hashtabl... 阅读全文
posted @ 2015-07-31 11:19 LIUSANNITY 阅读(1316) 评论(0) 推荐(0) 编辑
  2015年6月17日
摘要: hbase> disable 'tableName'hbase> snapshot 'tableName', 'tableSnapshot'hbase> clone_snapshot 'tableSnapshot', 'newTableName'hbase> delete_snapshot 'ta... 阅读全文
posted @ 2015-06-17 14:22 LIUSANNITY 阅读(999) 评论(0) 推荐(0) 编辑
  2015年5月21日
摘要: 原文出处:imtigerJava虚拟机规范规定JVM的内存分为了好几块,比如堆,栈,程序计数器,方法区等,而Hotspot jvm的实现中,将堆内存分为了三部分,新生代,老年代,持久带,其中持久带实现了规范中规定的方法区,而内存模型中不同的部分都会出现相应的OOM错误,接下来我们就分开来讨论一下。栈... 阅读全文
posted @ 2015-05-21 16:33 LIUSANNITY 阅读(213) 评论(0) 推荐(0) 编辑
  2015年4月9日
摘要: 1.准备 1>redis-3.0 tar包 2>yumrubyrubygem 提示:①安装rubygem时,有可能需先安装ruby-rdoc,然后执行ruby setup.rb与gem install -l redis ②安装redis,先解压,进入rdis安装目录,make&mak... 阅读全文
posted @ 2015-04-09 17:53 LIUSANNITY 阅读(360) 评论(0) 推荐(0) 编辑
  2015年3月26日
摘要: sqoop import --connect jdbc:mysql://hostname/database --username uname --password pwd --target-dir /raw/hive/dbsystem/user/raw_subscriber/2015/03/25/ ... 阅读全文
posted @ 2015-03-26 18:37 LIUSANNITY 阅读(385) 评论(0) 推荐(0) 编辑
  2015年3月19日
摘要: 首先正确的配置Hive的表锁管理,这需要通过ZooKeeper集群来实现。如果不进行如下配置,HiveServer2无法提供并发的查询操作。在hive的配置文件(这里是/etc/hive/conf/hive-site.xml)中进行如下配置:hive.zookeeper.quorumZookee... 阅读全文
posted @ 2015-03-19 15:01 LIUSANNITY 阅读(1739) 评论(0) 推荐(0) 编辑
  2015年2月4日
摘要: 目前我的hadoop/spark生态圈共用了一个zookeeper集群,有次我更换hbase版本时候,启动HMaster时org.apache.hadoop.hbase.TableExistsException: hbase:namespace,java.lang.RuntimeException... 阅读全文
posted @ 2015-02-04 11:19 LIUSANNITY 阅读(3535) 评论(0) 推荐(1) 编辑
  2014年12月30日
摘要: 原文:http://blog.csdn.net/bluishglc/article/details/41652111 阅读全文
posted @ 2014-12-30 16:51 LIUSANNITY 阅读(136) 评论(0) 推荐(0) 编辑
  2014年11月13日
摘要: 最近在同一时刻执行多个hive -e 操作时,出现了java.lang.OutOfMemoryError: unable to create new native thread异常 或Exception in thread "main" java.lang.RuntimeException: ja... 阅读全文
posted @ 2014-11-13 14:59 LIUSANNITY 阅读(1804) 评论(0) 推荐(0) 编辑
  2014年7月30日
摘要: 1.一个table有多个region,每个region都负责一定范围的rowkey(连续的)2.HRegionServer管理一些列HRegion对象;每个HRegion对应Table中一个Region,HRegion由多个HStore组成;每个HStore对应Table中一个Column Fami... 阅读全文
posted @ 2014-07-30 16:24 LIUSANNITY 阅读(205) 评论(0) 推荐(0) 编辑