2018年5月18日

spark源码学习-withScope

摘要: withScope是最近的发现版中新增加的一个模块,它是用来做DAG可视化的(DAG visualization on SparkUI) 以前的sparkUI中只有stage的执行情况,也就是说我们不可以看到上个RDD到下个RDD的具体信息。于是为了在 sparkUI中能展示更多的信息。所以把所有创 阅读全文

posted @ 2018-05-18 11:00 moonlight.ml 阅读(392) 评论(0) 推荐(0) 编辑

导航