摘要: 转自:http://blog.csdn.net/Androidlushangderen/article/details/50282593 前言 最近在运维我们部门的hadoop集群时,发现了很多Job OOM的现象,因为在机器上可以用命令进行查看,full gc比较严重.我们都知道,full gc带 阅读全文
posted @ 2016-05-24 21:41 五三中 阅读(2148) 评论(0) 推荐(0) 编辑
摘要: 转自:http://www.aahyhaa.com/archives/316 hive引入partition和bucket的概念,中文翻译分别为分区和桶(我觉的不是很合适,但是网上基本都是这么翻译,暂时用这个吧),这两个概念都是把数据划分成块,分区是粗粒度的划分桶是细粒度的划分,这样做为了可以让查询 阅读全文
posted @ 2016-05-24 18:45 五三中 阅读(4105) 评论(0) 推荐(0) 编辑
摘要: 转自:http://www.cnblogs.com/davidwang456/p/4313784.html 原文:http://blog.csdn.net/changong28/article/details/39325079 使用Kafka的同学都知道,我们每次创建Kafka主题(Topic)的时 阅读全文
posted @ 2016-05-24 18:42 五三中 阅读(1585) 评论(0) 推荐(0) 编辑