Spark创建RDD的四种方式

在Spark中创建RDD的创建方式可以分为四种： 

ps：本文代码基于spark on zeppelin实现

1、从集合（内存）中创建RDD

从集合中创建RDD，Spark主要提供了两个方法：parallelize和makeRDD 

// 使用parallelize方法
val rdd1 = sc.parallelize(List(1,2,3,4))
//使用makeRDD方法
val rdd2=sc.makeRDD(List(1,2,3,4)))

//输出
rdd1.collect().foreach(println) 
rdd2.collect().foreach(println) 

从底层代码实现来讲，makeRDD方法其实就是parallelize方法 

def makeRDD[T: ClassTag](  
    seq: Seq[T],  
    numSlices: Int = defaultParallelism): RDD[T] = withScope {          
parallelize(seq, numSlices) 
} 

2、从外部存储文件创建RDD

由外部存储系统的数据集创建RDD包括：本地的文件系统，所有Hadoop支持的数据集，比如HDFS、HBase等。 

//输入文件路径读取内容
val fileRDD: RDD[String] = sc.textFile("path") 
fileRDD.collect().foreach(println) 

Spark中文件路径的编写方式：Spark中textFile从外部读取数据的用法 - 干了这瓶老干妈 - 博客园 (cnblogs.com)

3、从其它RDD创建

通过一个RDD运算完后，再产生新的RDD。（主要是根据RDD不可变的特性）

4、直接创建RDD（new） 

使用new的方式直接构造RDD，一般由Spark框架自身使用。