Mapreduce(8)---数据倾斜原因与解决方案(转)
MapReduce 数据倾斜原因和解决方案(转)
1、记录第一个遇到的数据倾斜情况
类似词频统计,80%的单词相同,导致由一个reducer来处理。通过调大了reducerNum数量来解决。
2、记录第二个遇到的数据倾斜情况
当map中的key为IntWritable时比其为Text形式更易发生数据倾斜情况。
类似词频统计,80%的单词相同,导致由一个reducer来处理。通过调大了reducerNum数量来解决。
2、记录第二个遇到的数据倾斜情况
当map中的key为IntWritable时比其为Text形式更易发生数据倾斜情况。