2017年4月14日
Spark相对于MapReduce的优势
摘要： MapReduce存在的问题 1. MapReduce框架局限性 1）仅支持Map和Reduce两种操作 2）处理效率低效。 a）Map中间结果写磁盘，Reduce写HDFS，多个MR之间通过HDFS交换数据; 任务调度和启动开销大; b）无法充分利用内存 c）Map端和Reduce端均需要排序 3 阅读全文
posted @ 2017-04-14 19:30 deadend 阅读(7722) 评论(0) 推荐(0) 编辑