摘要: YARN Architecture Link: http://hadoop.apache.org/docs/r2.7.2/hadoop-yarn/hadoop-yarn-site/YARN.html YARN结构图。图中有两个Application,因此有两个ApplicationMaster。4个 阅读全文
posted @ 2018-04-03 22:30 sodawoods 阅读(440) 评论(0) 推荐(0) 编辑
摘要: Spark Programming Guide Link:http://spark.apache.org/docs/2.2.0/rdd-programming-guide.html 每个Spark Application包含一个driver程序(运行main方法)以及在集群中执行不同的并行操作。 S 阅读全文
posted @ 2018-04-03 14:07 sodawoods 阅读(257) 评论(0) 推荐(0) 编辑
摘要: Job Scheduling Link:http://spark.apache.org/docs/2.2.0/job-scheduling.html 概况: (1)集群中多个应用的调度主要考虑的是不同应用能够使用的集群资源的情况,即CPU以及内存资源,包括静态(Standalone,Mesos、Ya 阅读全文
posted @ 2018-04-03 13:42 sodawoods 阅读(241) 评论(0) 推荐(0) 编辑
摘要: Cluster Mode Overview Link:http://spark.apache.org/docs/2.2.0/cluster-overview.html Spark应用(Applications)作为独立的进程运行在集群中。 Driver程序中持有SparkContext对象,集群中运 阅读全文
posted @ 2018-04-03 13:34 sodawoods 阅读(216) 评论(0) 推荐(0) 编辑