随笔分类 -  Spark

[Spark]Spark、Yarn 入门
摘要：Spark在集群上的运行模式 链接： http://spark.apache.org/docs/latest/cluster overview.html Component章节 总结： 1 Each application gets its own executor processes，所以各app 阅读全文

posted @ 2019-10-04 21:18 coding_gaga 阅读(301) 评论(0) 推荐(0) 编辑

[Spark快速大数据分析]阅读笔记
摘要：第2章 Spark分布式执行涉及的组件 每个Spark应用都由一个 驱动程序 来发起集群上的各种并行操作，驱动程序通过一个 SparkContext对象 访问Spark；驱动程序管理多个 执行器节点 ，可以用SparkContext来创建RDD。 第3章 RDD(Resilient Distribu 阅读全文

posted @ 2019-09-01 22:18 coding_gaga 阅读(352) 评论(0) 推荐(0) 编辑

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

导航

统计

点击右上角即可分享
微信分享提示