随笔分类 -  Spark

[Spark]Spark、Yarn 入门
摘要：Spark在集群上的运行模式 链接： http://spark.apache.org/docs/latest/cluster overview.html Component章节 总结： 1 Each application gets its own executor processes，所以各app 阅读全文

posted @ 2019-10-04 21:18 coding_gaga 阅读(306) 评论(0) 推荐(0)

[Spark快速大数据分析]阅读笔记
摘要：第2章 Spark分布式执行涉及的组件 每个Spark应用都由一个 驱动程序 来发起集群上的各种并行操作，驱动程序通过一个 SparkContext对象 访问Spark；驱动程序管理多个 执行器节点 ，可以用SparkContext来创建RDD。 第3章 RDD(Resilient Distribu 阅读全文

posted @ 2019-09-01 22:18 coding_gaga 阅读(359) 评论(0) 推荐(0)

导航