RDD中的action的foreach、collect、collectAsMap、reduceByKeyLocally、lookup -- (视频笔记)

foreach(较常用)

直接循环遍历RDD中的元素

collect (较常用)
将RDD中的数据收集起来,变成一个Array,仅限数据量比较小的时候。

collectAsMap()
返回hashMap包含所有RDD中的分片,key如果重复,后边的元素会覆盖前面的元素。

reduceByKeyLocally
先执行reduce然后在执行collectAsMap

lookup(较常用) 查找
针对key-value类型的RDD
lookup(V1) 从RDD中找出V1元素。
先查看RDD中是否有分区器,再从分区中找到结果。
如果RDD不包含分区器,则是暴力扫描。

posted @ 2015-12-29 14:14  逸新  阅读(2979)  评论(0编辑  收藏  举报