2020年4月3日
hadoop-MapReduce框架原理之Shuffle机制
摘要： 1.Shuffle机制 1.1 什么是shuffle机制 1.1.1 在hadoop中数据从map阶段传递给reduce阶段的过程就叫shuffle，shuffle机制是整个MapReduce框架中最核心的部分； 1.1.2 shuffle翻译成中文的意思为：洗牌，发牌（核心机制：数据分区，排序，缓 阅读全文
posted @ 2020-04-03 11:46 wnwn 阅读(590) 评论(0) 推荐(0) 编辑