摘要: 简介 spark RDD操作具体参考官网:http://spark.apache.org/docs/latest/rdd-programming-guide.html#overview RDD全称叫做Resilient Distributed Datasets,直译为弹性分布式数据集,是spark中 阅读全文
posted @ 2018-12-02 23:08 __lay 阅读(968) 评论(0) 推荐(0) 编辑
摘要: 简介 spark的yarn运行模式根据Driver在集群中的位置分成两种: 1)yarn-client 客户端模式 2)yarn-cluster 集群模式 yarn模式和standalone模式不同,standalone模式需要启动spark独立集群,这样SparkContext才能与Master进 阅读全文
posted @ 2018-12-02 22:29 __lay 阅读(2052) 评论(0) 推荐(0) 编辑
摘要: 在上文中我们知道spark的集群主要有三种运行模式standalone、yarn、mesos,其中常被使用的是standalone和yarn,本文了解一下什么是standalone运行模式,它的运行流程是怎么样的。 简介 standalone模式,是spark自己实现的,它是一个资源调度框架。这里我 阅读全文
posted @ 2018-12-02 18:52 __lay 阅读(15032) 评论(0) 推荐(1) 编辑