摘要：
<groupId> 是项目组织的唯一标识符，通常是一个公司或组织的域名反写 <artifactId> 是项目的唯一标识符，通常是项目的名称 <version> 是项目的版本号，通常遵循语义化版本控制规范，例如 "0.0.1-SNAPSHOT"。 <name> 是项目的名称，通常与 <artifact 阅读全文
摘要：
Spark Application程序入口为：SparkContext，任何一个应用首先需要构建SparkContext对象，如下两步构建： 第一步、创建SparkConf对象 设置Spark Application基本信息，比如应用的名称AppName和应用运行Master 第二步、基于Spark 阅读全文
摘要：
PySpark 是Spark官方提供的一个Python类库, 内置了完全的Spark API, 可以通过PySpark类库来编写Spark应用程序, 并将其提交到Spark集群中运行. 下图是,PySpark类库和标准Spark框架的简单对比 阅读全文
摘要：
Client模式和Cluster模式最最本质的区别是：Driver程序运行在哪里。 Client模式：学习测试时使用，生产不推荐(要用也可以,性能略低,稳定性略低) 1.Driver运行在Client上,和集群的通信成本高 2.Driver输出结果会在客户端显示 Cluster模式：生产环境 阅读全文
摘要：
Spark On Yarn的本质? Master角色由YARN的ResourceManager担任. Worker角色由YARN的NodeManager担任. Driver角色运行在YARN容器内 或 提交任务的客户端进程中 真正干活的Executor运行在YARN提供的容器内 Spark On Y 阅读全文