spark入门（三）键值对操作

1 简述

Spark为包含键值对类型的RDD提供了一些专有的操作。这些RDD被称为PairRDD。

 

2 创建PairRDD

2.1

在sprk中，很多存储键值对的数据在读取时直接返回由其键值对数据组成的PairRDD。

2.2

可以调用map()函数，将一个普通的RDD转换为PairRDD。 

scala 版：

 使用第一个单词作为作为键创建出一个PairRDD

val pairs = lines.map(x => s.split(" ")(0),  x)

 

 java版：

同样是使用第一个单词作为作为键创建出一个PairRDD

PairFunction<String, String> keyData = new PairFunction<String, String>() {
    public Tuple2<String, String> call(String str) {
        return new Tuple2(str.split(" ")[0],  str);
    }
}

 

3 PairRDD的转化操作

表：对Pair RDD的转化操作（以键值对集合{(1,2),(3,4),(3,6)}为例）

表：针对两个pair RDD的转化操作（rdd={(1,2),(3,4),(3,6)} other ={(3,9)}）

 

4 PairRDD的聚合操作 

4.1 scala

scala中使用mapValues()和reduceByKey()计算每个键对应的平均值：

用Scala实现单词计数：

val input=sc.textFile(path)
val word=input.flatMap(x=>x.split(" "))
val result=word.map(s=>(x,1)).reduceByKey((x,y)=>(x+y))

 

4.2 java 

用Java实现单词计数：

public class WordCount implements Serializable {
     private static final long serialVersionUID = 1L;
     private final static SparkConf sparkConf = new SparkConf().setAppName("JavaWordCount" );
     private final static JavaSparkContext sc = new JavaSparkContext( sparkConf);
     public void wordCount(){
           JavaRDD<String> input= sc.textFile("hdfs://hadoop:8020/words.txt" );
          JavaRDD<String> words= input.flatMap( new FlatMapFunction<String, String>() {
             private static final long serialVersionUID = 1L;
             @Override
             public Iterator<String> call(String x ) throws Exception {
               return Arrays.asList( x.split( " ")).iterator();
                       }
             });
       JavaPairRDD<String, Integer> result=words .mapToPair(new PairFunction<String, String, Integer>() {
              private static final long serialVersionUID = 1L;
              @Override
              public Tuple2<String, Integer> call(String x) throws Exception {
                return new Tuple2<String, Integer>(x, 1);
                     }
      }).reduceByKey( new Function2<Integer, Integer, Integer>() {  
     private static final long serialVersionUID = 1L;
     @Override
     public Integer call(Integer x , Integer y ) throws Exception {  
               return x +y ;
                      }
           });
        }
}