2016年4月24日
Spark使用总结
摘要： 1）spark通常把shuffle操作定义为划分stage的边界，其实stage的边界有两种：ShuffleMapTask和ResultTask。ResultTask就是输出结果，输出结果的称为ResultTask，都为引起stage的划分，比如以下代码： 每个stage内部，一定有一个Shuffl 阅读全文
posted @ 2016-04-24 21:10 lz3018 阅读(2220) 评论(0) 推荐(0) 编辑