摘要: 1.几种运行模式介绍 Spark几种运行模式: 1)Local 2)Standalone 3)Yarn 4)Mesos 下载IDEA并安装,可以百度一下免费文档。 2.spark Standalone模式配置并测试 1)jdk1.8已经安装 2)scala2.11.8已经安装 3)Hadoop2.5 阅读全文
posted @ 2019-09-07 19:07 misr 阅读(175) 评论(0) 推荐(0) 编辑
摘要: 1.三大弹性数据集介绍 1)概念 2)优缺点对比 2.Spark RDD概述与创建方式 1)概述 在集群背后,有一个非常重要的分布式数据架构,即弹性分布式数据集(resilientdistributed dataset,RDD),它是逻辑集中的实体,在集群中的多台机器上进行了数据分区。RDD是Spa 阅读全文
posted @ 2019-09-07 19:07 misr 阅读(156) 评论(0) 推荐(0) 编辑