打赏

Spark RDD概念学习系列之如何创建Pair RDD

 

 

  不多说,直接上干货!

 

 

创建Pair RDD

 

 

Python语言
pairs = lines.map(lambda x: (x.split(" ")[0], x))

 

 

 

 scala语言

val pairs = lines.map(x => (x.split(" ")(0), x))

 

 

 

Java语言

PairFunction keyData =
    new PairFunction() {
    public Tuple2 call(String x) {
        return new Tuple2(x.split(" ")[0], x);
    }
};
JavaPairRDD pairs = lines.mapToPair(keyData);

 

posted @ 2017-06-04 18:08  大数据和AI躺过的坑  阅读(2487)  评论(0编辑  收藏  举报