spark(2.2) - spark-shell RDD编程

【基本操作】

 

1* 从文件系统中加载数据创建RDD

   -> 本地文件系统

   ->HDFS

 

2* 转换操作 [ 会创建新的RDD ,没有真正计算 ]

   >> filter()

   >> map()

   >> flatMap()

   >> groupByKey()

   >> reduceByKey()

 

3* 行动操作 []

   >> count()

   >> collect()

   >> first()

   >> take()

   >> reduce()

   >> foreach()

 

【 初步使用的困难】

    转换/行动 函数 中的 Lamda 表达式的实现

    

    后期解决:https://www.cnblogs.com/floakss/p/10535570.html

 

posted @ 2019-03-13 20:28  丨Kouch  阅读(119)  评论(0编辑  收藏  举报