积少成多

  博客园 :: 首页 :: 博问 :: 闪存 :: 新随笔 :: 联系 :: 订阅 订阅 :: 管理 ::

spark编程模型

======

spark如何工作的?

1、user应用产生RDD,操作变形,运行action操作

2、操作的结果在有向无环图DAG中

3、DAG被编译到stages阶段中

4、每一阶段作为任务的一部分被执行(一个task对应一个partition分块)

========

narrow transformation和wide transformation

1, narrow transformation, 

map()   filter()

2,wide transformation

groupByKey()

reduceByKey()

=============

 

posted on 2019-11-16 14:52  x7b5g  阅读(116)  评论(0编辑  收藏  举报