阅读排行榜

SparkStreaming消费kafka中数据的方式

guoyu1 2019-12-21 16:07 阅读:2798 评论:0 推荐:1 编辑

任务中如何确定spark分区数、task数目、core个数、worker节点个数、excutor数量

guoyu1 2020-02-12 15:13 阅读:2714 评论:0 推荐:0 编辑

scala case class和class的区别

guoyu1 2020-03-30 16:51 阅读:2563 评论:0 推荐:0 编辑

Zookeeper数据类型、节点类型、角色、watcher监听机制

guoyu1 2019-12-02 15:49 阅读:2500 评论:0 推荐:0 编辑

Spark 缓存机制 + 共享变量

guoyu1 2019-12-18 15:32 阅读:2418 评论:0 推荐:2 编辑

公告

昵称： guoyu1
园龄： 5年5个月
粉丝： 8
关注： 4

<

2025年3月

>

日

一

二

三

四

五

六

23

24

25

26

27

28

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

1

2

3

4

5

随笔分类

随笔档案

阅读排行榜

评论排行榜

推荐排行榜

最新评论

1. Re:sparkStreaming滑动窗口操作
win1 = time1 + time2 + time3 win2 = time3 + time4 + time5 更新为 win1 = time1 + time2 + time3 win2 = wi...
--慢慢学的小刘
2. Re:深入理解RocketMQ的消费者组、队列、Broker，Topic
这标题
--张大锤丨
3. Re:深入理解RocketMQ的消费者组、队列、Broker，Topic
我也出现了这个问题也是因为在同一个group下消息队列被占用了
--coder2014
4. Re:spark常见的transformation和action算子
aggregateByKey算子这个逻辑有问题的吧，初始值这个在不同分区情况下结果会不同的应该不能按照以上逻辑的例如：一个RDD有两个分区， patition1：（1,1）（1,2）（2,1...
--thomasgx
5. Re:pyspark
学到了大佬，我最近在公司搞spark这一块儿，很懵逼
--小宇啊