摘要: "Spark快速回顾汇总(1)" "Spark快速回顾汇总(2)" 1 Spark 有几种部署方式 1)Local:运行在一台机器上,通常用于测试。Spark程序以多线程方式直接运行在本地 2)Standalone:Spark集群独立运行,不依赖于第三方资源管理系统,如:YARN、Mesos 采用M 阅读全文
posted @ 2020-05-07 22:40 Christine_7 阅读(316) 评论(0) 推荐(0) 编辑
摘要: 产生的背景 1)MapReduce有较大的局限性 仅支持Map、Reduce两种语义操作 执行效率低,时间开销大 主要用于大规模离线批处理 不适合迭代计算、交互式计算、实时流处理等场景 2)计算框架种类多,选型难,学习成本高 批处理:MapReduce 流处理:Storm、Flink 交互式计算:I 阅读全文
posted @ 2020-05-07 07:46 Christine_7 阅读(1302) 评论(0) 推荐(0) 编辑