2018年8月10日
Spark源码剖析 - 计算引擎
摘要： 本章导读 RDD作为Spark对各种数据计算模型的统一抽象，被用于迭代计算过程以及任务输出结果的缓存读写。在所有MapReduce框架中，shuffle是连接map任务和reduce任务的桥梁。map任务的中间输出要作为reduce任务的输入，就必须经过shuffle，shuffle的性能优劣直接决 阅读全文
posted @ 2018-08-10 01:30 牧梦者 阅读(2464) 评论(0) 推荐(0) 编辑