摘要:
"Spark快速回顾汇总(1)" "Spark快速回顾汇总(2)" 1 Spark 有几种部署方式 1)Local:运行在一台机器上,通常用于测试。Spark程序以多线程方式直接运行在本地 2)Standalone:Spark集群独立运行,不依赖于第三方资源管理系统,如:YARN、Mesos 采用M 阅读全文
摘要:
产生的背景 1)MapReduce有较大的局限性 仅支持Map、Reduce两种语义操作 执行效率低,时间开销大 主要用于大规模离线批处理 不适合迭代计算、交互式计算、实时流处理等场景 2)计算框架种类多,选型难,学习成本高 批处理:MapReduce 流处理:Storm、Flink 交互式计算:I 阅读全文