3.3 Spark的部署和应用方式
一、Spark的部署
1.单机Local
2.集群
(1)Standalonc
Spark自带的资源管理器,效率不高
(2)YARN
如果部署的是Hadoop集群,可以用YARN资源调度
(3)Mesos
Spark和Mesos是相互优化的,它们之间性能匹配得非常好。
二、Spark的应用方式
Spark优势:
- 延迟低
- 批处理快
- 组件多
以前Spark无法满足毫秒级流计算需求,但Spark2.3(2018年)版本出来后,增加了Structured Streaming持续流模式,这意味着它可以和Flink一样,可以满足毫秒级别的流计算需求。
参考文献: