摘要: 10:Spark Spark:基于内存的实时数据分析框架 Spark的特点: Spark和Hadoop的对比: Hadoop的缺点: 1.表达能力有限 2.磁盘IO开销大 3.延迟高,任务之间的衔接涉及IO开销 4.在前一个任务执行完成之前,其他任务无法开始,难以胜任复杂、多阶段的计算任务 Spar 阅读全文
posted @ 2018-12-05 17:27 cellphone7 阅读(324) 评论(0) 推荐(0) 编辑
摘要: 7.1.2MapReduce模型 Master/Slave架构: Map函数: Reduce函数: MapReduce的体系结构: TaskTracker通过slot监控自己的资源使用情况(以slot为单位调度资源) MapReduce的执行过程: map的数量:最优情况下和分片的数量相同 redu 阅读全文
posted @ 2018-12-05 16:54 cellphone7 阅读(137) 评论(0) 推荐(0) 编辑