随笔分类 -  Spark

Spark中的术语图解总结
摘要：参考：http://www.raincent.com/content-85-11052-1.html 1、Application：Spark应用程序 指的是用户编写的Spark应用程序，包含了Driver功能代码和分布在集群中多个节点上运行的Executor代码。 Spark应用程序，由一个或多个作 阅读全文
posted @ 2019-08-24 18:49 猫不夜行 阅读(663) 评论(0) 推荐(1) 编辑
Spark架构角色及基本运行流程
摘要：1. 集群角色 Application：基于spark的用户程序，包含了一个Driver program 和集群中多个Executor Driver Program：运行application的main()函数并自动创建SparkContext。Driver program通过一个SparkCont 阅读全文
posted @ 2019-08-24 17:03 猫不夜行 阅读(1156) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示