摘要: 转载:https://blog.csdn.net/lulongzhou_llz/article/details/78283851 1 shuffle原理 1.1 mapreduce的shuffle原理 1.1.1 map task端操作 1.1.2 reduce task端操作 1.2 spark现 阅读全文
posted @ 2018-11-30 10:11 风雨辰 阅读(475) 评论(0) 推荐(0) 编辑
摘要: 作者:王燚光 链接:https://www.zhihu.com/question/33270495/answer/93424104 来源:知乎 著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。 输入可能以多个文件的形式存储在HDFS上,每个File都包含了很多块,称为Block。 阅读全文
posted @ 2018-11-30 09:46 风雨辰 阅读(638) 评论(0) 推荐(0) 编辑