2018年2月8日
Hadoop运行原理之Spill, Shuffle
摘要： Shuffle阶段又可以分为Map端的shuffle和Reduce端的Shuffle。 一、Map端的shuffle Map端会处理输入数据并产生中间结果，这个中间结果会写到本地磁盘(转者注: 这个中间结果可以压缩, 以节省IO)，而不是HDFS。每个Map的输出会先写到内存缓冲区中，当写入的数据达 阅读全文
posted @ 2018-02-08 15:39 爱知菜 阅读(27) 评论(0) 推荐(0) 编辑