2018年5月26日
hive单节点数据倾斜解决方法
摘要： 一、现象 map/reduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个reduce节点运行很慢，导致整个程序的处理时间很长，这是因为某一个key的条数比其他key多很多（有时是百倍或者千倍之多），这条key所在的reduce节点所处理的数据量比其他节点就大很多，从而导致某几个节 阅读全文
posted @ 2018-05-26 15:10 大师兄啊哈 阅读(503) 评论(0) 推荐(0) 编辑