摘要: http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-configurations-resourcemanager-nodemanager/ http://blog.csdn.net/xiangxizhishi/article/details/79 阅读全文
posted @ 2018-03-12 09:37 double_kill 阅读(1104) 评论(0) 推荐(0) 编辑
摘要: 说明: 由于线上业务kylin的cube越来越多,数据量随着时间也在增长,构建时间会托的越来越长(同时跑的任务越多,mr时间越长,所以对同时跑的mr数量,我们进行了限制)。 这影响了数据的可用时间。目前需求是有看到近1个小时内的数据,而不再是早期的T-1。 为此我们做了3点优化: 一、是把自动构建的 阅读全文
posted @ 2018-03-12 08:45 double_kill 阅读(2661) 评论(4) 推荐(0) 编辑