mapreduce中的shuffle机制

分区的默认方式hashpartitioner

public int getPartition(K2 key, V2 value, int numReduceTasks) {
    return (key.hashCode() & Integer.MAX_VALUE) % numReduceTasks;
}
posted @ 2022-07-29 08:32  jsqup  阅读(15)  评论(0编辑  收藏  举报