当前标签：spark

Spark优化一则 - 减少Shuffle

frankbadpot 2014-09-12 21:34 阅读:13597 评论:1 推荐:1 编辑

公告

昵称： frankbadpot
园龄： 15年4个月
粉丝： 4
关注： 1

<

2025年3月

>

日

一

二

三

四

五

六

23

24

25

26

27

28

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

1

2

3

4

5

随笔档案

阅读排行榜

推荐排行榜

最新评论

1. Re:Spark优化一则 - 减少Shuffle
博主你好！请问rdd.distinct(numPartitions)的参数numPartitions具体是做了什么操作，是根据什么来进行的task划分？
--fanOrz
2. Re:多线程调试必杀技 - GDB的non-stop模式
good，好文章
--arrowcat
3. Re:多线程调试必杀技 - GDB的non-stop模式
Nice!
Thank u very much, it is really helpful to me!
--Ahriman