map将RDD中的每个数据项,一对一的映射关系,RDD数目不变,分区数也不变例子:数据集:map操作:flatMap和map一样,但是会拆分每一个map之后的list,可以理解为一对多(注:会把字符串当作数组然后拆分)例子:distinct对RDD的数据项进行去重操作例子:coalescedef c... Read More
firstdef first(): Tfirst返回RDD中的第一个元素,不排序。例子:countdef count(): Longcount返回RDD中的元素数量例子:reducedef reduce(f: (T, T) ⇒ T): T根据映射函数f,对RDD中的元素进行二元计算,返回计算结果(可... Read More
saveAsTextFilesaveAsTextFile(path,compressionCodecClass=None)aveAsTextFile用于将RDD以文本文件的格式存储到文件系统中, 将每一个元素以string格式存储(结合python的loads和dumps可以很好应用)Paramet... Read More