spark 高级算子

 

mapPartitionsWithIndex

val func = (index: Int, iter: Iterator[(Int)]) => {

  iter.toList.map(x => "[partID:" +  index + ", val: " + x + "]").iterator

}

val rdd1 = sc.parallelize(List(1,2,3,4,5,6,7,8,9), 2)

rdd1.mapPartitionsWithIndex(func).collect

// Array[String] = Array([partID:0, val: 1], [partID:0, val: 2], [partID:0, val: 3], [partID:0, val: 4], [partID:1, val: 5], [partID:1, val: 6], [partID:1, val: 7], [partID:1, val: 8], [partID:1, val: 9])

-------------------------------------------------------------------------------------------

-------------------------------------------------------------------------------------------

aggregate

 

def func1(index: Int, iter: Iterator[(Int)]) : Iterator[String] = {

  iter.toList.map(x => "[partID:" +  index + ", val: " + x + "]").iterator

}

val rdd1 = sc.parallelize(List(1,2,3,4,5,6,7,8,9), 2)

rdd1.mapPartitionsWithIndex(func1).collect

//Array[String] = Array([partID:0, val: 1], [partID:0, val: 2], [partID:0, val: 3], [partID:0, val: 4], [partID:1, val: 5], [partID:1, val: 6], [partID:1, val: 7], [partID:1, val: 8], [partID:1, val: 9])

rdd1.aggregate(0)(math.max(_, _), _ + _)

//res3: Int = 13

rdd1.aggregate(5)(math.max(_, _), _ + _)

// Int = 19

 

val rdd2 = sc.parallelize(List("a","b","c","d","e","f"),2)

def func2(index: Int, iter: Iterator[(String)]) : Iterator[String] = {

  iter.toList.map(x => "[partID:" +  index + ", val: " + x + "]").iterator

}

rdd2.aggregate("")(_ + _, _ + _)

// String = abcdef

rdd2.aggregate("|")(_ + _, _ + _)

//String = ||def|abc

 

val rdd3 = sc.parallelize(List("12","23","345","4567"),2)

rdd3.aggregate("")((x,y) => math.max(x.length, y.length).toString, (x,y) => x + y)

// String = 24

//String = 42

 

val rdd4 = sc.parallelize(List("12","23","345",""),2)

rdd4.aggregate("")((x,y) => math.min(x.length, y.length).toString, (x,y) => x + y)

 

val rdd5 = sc.parallelize(List("12","23","","345"),2)

rdd5.aggregate("")((x,y) => math.min(x.length, y.length).toString, (x,y) => x + y)

//String = 11

-------------------------------------------------------------------------------------------

-------------------------------------------------------------------------------------------

aggregateByKey

 

val pairRDD = sc.parallelize(List( ("cat",2), ("cat", 5), ("mouse", 4),("cat", 12), ("dog", 12), ("mouse", 2)), 2)

def func2(index: Int, iter: Iterator[(String, Int)]) : Iterator[String] = {

  iter.toList.map(x => "[partID:" +  index + ", val: " + x + "]").iterator

}

pairRDD.mapPartitionsWithIndex(func2).collect

//Array[String] = Array([partID:0, val: (cat,2)], [partID:0, val: (cat,5)], [partID:0, val: (mouse,4)], [partID:1, val: (cat,12)], [partID:1, val: (dog,12)], [partID:1, val: (mouse,2)])

 

pairRDD.aggregateByKey(0)(math.max(_, _), _ + _).collect

//Array[(String, Int)] = Array((dog,12), (cat,17), (mouse,6))

 

pairRDD.aggregateByKey(100)(math.max(_, _), _ + _).collect

// Array[(String, Int)] = Array((dog,100), (cat,200), (mouse,200))

-------------------------------------------------------------------------------------------

-------------------------------------------------------------------------------------------

checkpoint

sc.setCheckpointDir("hdfs://node-1.itcast.cn:9000/ck")

val rdd = sc.textFile("hdfs://node-1.itcast.cn:9000/wc").flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_)

 

rdd.checkpoint

rdd.isCheckpointed

rdd.count

rdd.isCheckpointed

rdd.getCheckpointFile

 

-------------------------------------------------------------------------------------------

-------------------------------------------------------------------------------------------

coalesce, repartition

val rdd1 = sc.parallelize(1 to 10, 10)

val rdd2 = rdd1.coalesce(2, false)

rdd2.partitions.length

//Int = 2

 

-------------------------------------------------------------------------------------------

-------------------------------------------------------------------------------------------

collectAsMap

val rdd = sc.parallelize(List(("a", 1), ("b", 2)))

rdd.collectAsMap

//scala.collection.Map[String,Int] = Map(b -> 2, a -> 1)

-------------------------------------------------------------------------------------------

-------------------------------------------------------------------------------------------

combineByKey

//val rdd1 = sc.textFile("hdfs://mini1:9000/wc").flatMap(_.split(" ")).map((_, 1))

val rdd1 = sc.textFile("/home/hadoop/wc/words.txt").flatMap(_.split(" ")).map((_, 1))

rdd1.collect

//Array[(String, Int)] = Array((hello,1), (world,1), (hello,1), (tom,1), (hello,1), (ketty,1), (hello,1), (tom,1), (hello,1), (myson,1), (hello,1), (world,1))

 

val rdd2 = rdd1.combineByKey(x => x, (a: Int, b: Int) => a + b, (m: Int, n: Int) => m + n)

rdd2.collect

//  Array[(String, Int)] = Array((tom,2), (myson,1), (hello,6), (world,2), (ketty,1))

 

val rdd3 = rdd1.combineByKey(x => x + 10, (a: Int, b: Int) => a + b, (m: Int, n: Int) => m + n)

rdd3.collect

// Array[(String, Int)] = Array((tom,12), (myson,11), (hello,26), (world,22), (ketty,11))

 

val rdd4 = sc.parallelize(List("dog","cat","gnu","salmon","rabbit","turkey","wolf","bear","bee"), 3)

val rdd5 = sc.parallelize(List(1,1,2,2,2,1,2,2,2), 3)

val rdd6 = rdd5.zip(rdd4)

rdd6.collect

// Array[(Int, String)] = Array((1,dog), (1,cat), (2,gnu), (2,salmon), (2,rabbit), (1,turkey), (2,wolf), (2,bear), (2,bee))

 

 

val rdd7 = rdd6.combineByKey(List(_), (x: List[String], y: String) => x :+ y, (m: List[String], n: List[String]) => m ++ n)

// Array[(Int, List[String])] = Array((1,List(dog, cat, turkey)), (2,List(gnu, salmon, rabbit, wolf, bear, bee)))

-------------------------------------------------------------------------------------------

-------------------------------------------------------------------------------------------

countByKey 

 

val rdd1 = sc.parallelize(List(("a", 1), ("b", 2), ("b", 2), ("c", 2), ("c", 1)))

rdd1.countByKey

//scala.collection.Map[String,Long] = Map(b -> 2, a -> 1, c -> 2)

 

rdd1.countByValue

// scala.collection.Map[(String, Int),Long] = Map((b,2) -> 2, (c,2) -> 1, (a,1) -> 1, (c,1) -> 1)

 

 

val rdd1 = sc.parallelize(List(("a", 1), ("b", 2), ("b", 2), ("b", 3),("c", 2), ("c", 1)))

rdd1.countByKey

//scala.collection.Map[String,Long] = Map(b -> 3, a -> 1, c -> 2)

 

rdd1.countByValue

// scala.collection.Map[(String, Int),Long] = Map((c,2) -> 1, (b,2) -> 2, (c,1) -> 1, (a,1) -> 1, (b,3) -> 1)

-------------------------------------------------------------------------------------------

-------------------------------------------------------------------------------------------

filterByRange

 

val rdd1 = sc.parallelize(List(("e", 5), ("c", 3), ("d", 4), ("c", 2), ("a", 1)))

val rdd2 = rdd1.filterByRange("b", "d")

rdd2.colllect

 

-------------------------------------------------------------------------------------------

-------------------------------------------------------------------------------------------

flatMapValues

val a = sc.parallelize(List(("a", "1 2"), ("b", "3 4")))

rdd3.flatMapValues(_.split(" "))

// Array[(String, String)] = Array((a,1), (a,2), (b,3), (b,4))

-------------------------------------------------------------------------------------------

-------------------------------------------------------------------------------------------

foldByKey

 

val rdd1 = sc.parallelize(List("dog", "wolf", "cat", "bear"), 2)

val rdd2 = rdd1.map(x => (x.length, x))

//Array[(Int, String)] = Array((3,dog), (4,wolf), (3,cat), (4,bear))

 

val rdd3 = rdd2.foldByKey("")(_+_)

//Array[(Int, String)] = Array((4,wolfbear), (3,dogcat))

 

//val rdd = sc.textFile("hdfs://mini1:9000/wc").flatMap(_.split(" ")).map((_, 1))

val rdd = sc.textFile("/home/hadoop/wc/words.txt").flatMap(_.split(" ")).map((_, 1))

//Array[(String, Int)] = Array((hello,1), (world,1), (hello,1), (tom,1), (hello,1), (ketty,1), (hello,1), (tom,1), (hello,1), (myson,1), (hello,1), (world,1))

rdd.foldByKey(0)(_+_)

//Array[(String, Int)] = Array((tom,2), (myson,1), (hello,6), (world,2), (ketty,1))

-------------------------------------------------------------------------------------------

-------------------------------------------------------------------------------------------

foreachPartition

val rdd1 = sc.parallelize(List(1, 2, 3, 4, 5, 6, 7, 8, 9), 3)

rdd1.foreachPartition(x => println(x.reduce(_ + _)))

 

-------------------------------------------------------------------------------------------

-------------------------------------------------------------------------------------------

keyBy

val rdd1 = sc.parallelize(List("dog", "salmon", "salmon", "rat", "elephant"), 3)

val rdd2 = rdd1.keyBy(_.length)

rdd2.collect

// Array[(Int, String)] = Array((3,dog), (6,salmon), (6,salmon), (3,rat), (8,elephant))

-------------------------------------------------------------------------------------------

-------------------------------------------------------------------------------------------

keys values

val rdd1 = sc.parallelize(List("dog", "tiger", "lion", "cat", "panther", "eagle"), 2)

val rdd2 = rdd1.map(x => (x.length, x))

// Array[(Int, String)] = Array((3,dog), (5,tiger), (4,lion), (3,cat), (7,panther), (5,eagle))

 

rdd2.keys.collect

// Array[Int] = Array(3, 5, 4, 3, 7, 5)

 

rdd2.values.collect

 //Array[String] = Array(dog, tiger, lion, cat, panther, eagle)

-------------------------------------------------------------------------------------------

-------------------------------------------------------------------------------------------

mapPartitions