……

2022年8月30日
MapReduce的shuffle和Spark的shuffle区别
摘要： 一、MapReduce的shuffle 1、mapShuffle 数据存到hdfs中是以块进行存储的，每一个块对应一个分片，maptask就是从分片中获取数据的 在某个节点上启动了mapTask,mapTask读取是通过k-v来读取的,读取的数据会放到环形缓存区，这样做的目的是为了防止IO的访问次数 阅读全文
posted @ 2022-08-30 20:32 大码王 阅读(310) 评论(0) 推荐(0) 编辑
、
复制代码