摘要：弹性分布数据集RDD RDD(Resilient Distributed Dataset)是Spark的最基本抽象，是对分布式内存的抽象使用，实现了以操作本地集合的方式来操作分布式数据集的抽象实现。RDD是Spark最核心的东西，它表示已被分区，不可变的并能够被并行操作的数据集合，不同的数据集格式对 阅读全文

摘要：Spark安装指南 该文档是建立在已经安装好hadoop和jdk的基础上，并且已经设置好HADOOP_HOME环境变量以及JAVA_HOME环境变量，测试和现网环境需要在原来的hadoop环境中安装。 2 安装Scala 解压安装包：tar -zxvf scala-2.11.8.tgz，可以解压到/ 阅读全文