2019年9月2日
Hive：数据倾斜
摘要： 数据倾斜问题 数据倾斜是大数据领域绕不开的拦路虎，当你所需处理的数据量到达了上亿甚至是千亿条的时候，数据倾斜将是横在你面前一道巨大的坎。很可能有几周甚至几月都要头疼于数据倾斜导致的各类诡异的问题。 数据倾斜是指：mapreduce程序执行时，reduce节点大部分执行完毕，但是有一个或者几个redu 阅读全文
posted @ 2019-09-02 21:19 亦海 阅读(1034) 评论(0) 推荐(0) 编辑