有关RDD的基础学习1

   1.spark rdd为什么不能嵌套?
    譬如 val rdd1=sc.parallel(range(1,100))
    val rdd2=sc.parallel(range(1,100))
    rdd1.map(x=>rdd.count())
    因为rdd的构造器中rdd(@trancient sc:SparkContext),这个sc是不可序列化的,而rdd的map之类的操作,需要把参数序列化,
    这样就会出问题,sc就成了null,会报空值异常.
    为什么sc要设置为不要序列化? 因为sc本身就不能序列化,没有继承serializble接口.
    
    scala中如何使用正则进行抽取字符串中想要的内容?使用模式匹配,例如:
    val regex="localhost[(.*)]".r
    val master="localhost[4]"
    master match{
        case regex(threads) => converttoInt(threads)
        case _=> println("not found")
    }
   2.spark rdd 中的partitioner有什么用?
    确定数据是如何被划分到partitions里面的,譬如说rdd.repartition就使用了这个类.
    rdd内容是1,2,3,4,5,设置了2个分区,每一个分区的数据会是怎么样的?
    查看代码你会发现是会分成1,2一组,3,4,5一组
    那rdd的partitioner有什么作用呢?
    你调用rdd.repartition的时候,数据就根据这个进行重新分组了.
    还有如果是转换成新的rdd出现了shuffle的时候就使用这个partitioner.
    如果你想把数据重新分组,分成大于3的一组,其他的为一组,如何做?
   

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.HashPartitioner

object Test extends App {
   //在windows平台上调试运行,需要设置hadoop的home
  System.setProperty("hadoop.home.dir", "E:\\app\\hadoop");

  val sparkConf = new SparkConf()
  sparkConf.setMaster("local[2]").setAppName(Test.getClass.toString().dropRight(1))
  val sc = new SparkContext(sparkConf)

  val rdd = sc.parallelize(Seq(1, 2, 3, 4, 5), 2)
    .map(i => if(i>3) (1,i) else (0,i))
    //.repartition(2)
    .partitionBy(new HashPartitioner(2))
     .map( {case (a,b)=>b })
     
  println(rdd.toDebugString)
  rdd.foreachPartition { p =>
    p.foreach { l => println(l) }
    println(p.hashCode())
  }

  sc.stop()
}