posted @ 2018-08-02 11:11 打杂滴 阅读(945) 评论(0) 推荐(0) 编辑
摘要:
stage的划分是以shuffle操作作为边界的,遇到一个宽依赖就分一个stage 一个Job会被拆分为多组Task,每组任务被称为一个Stage就像Map Stage, Reduce Stage。Stage的划分在RDD的论文中有详细的介绍,简单的说是以shuffle和result这两种类型来划分 阅读全文
posted @ 2018-08-02 11:11 打杂滴 阅读(945) 评论(0) 推荐(0) 编辑
posted @ 2018-08-01 14:26 打杂滴 阅读(1493) 评论(0) 推荐(0) 编辑
posted @ 2018-07-31 14:50 打杂滴 阅读(149) 评论(0) 推荐(0) 编辑
posted @ 2018-07-31 11:13 打杂滴 阅读(602) 评论(0) 推荐(0) 编辑
posted @ 2018-07-30 15:06 打杂滴 阅读(117) 评论(0) 推荐(0) 编辑
posted @ 2018-07-19 16:53 打杂滴 阅读(114) 评论(0) 推荐(0) 编辑
posted @ 2018-07-19 16:11 打杂滴 阅读(459) 评论(0) 推荐(0) 编辑
posted @ 2018-07-17 14:22 打杂滴 阅读(167) 评论(0) 推荐(0) 编辑
posted @ 2018-07-12 10:12 打杂滴 阅读(128) 评论(0) 推荐(0) 编辑
posted @ 2018-07-11 17:27 打杂滴 阅读(198) 评论(0) 推荐(0) 编辑
Copyright © 2024 打杂滴
Powered by .NET 8.0 on Kubernetes