2017年8月1日
spark性能优化：数据倾斜调优
摘要： 调优概述 有的时候，我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜，此时Spark作业的性能会比期望差很多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题，以保证Spark作业的性能。 数据倾斜发生时的现象 1、绝大多数task执行得都非常快，但个别task执行极慢。比如，总共 阅读全文
posted @ 2017-08-01 22:19 耳木东木2 阅读(171) 评论(0) 推荐(0) 编辑
HiveServer2的高可用-HA配置
摘要： http://lxw1234.com/archives/2016/05/675.htm 阅读全文
posted @ 2017-08-01 14:04 耳木东木2 阅读(69) 评论(0) 推荐(0) 编辑