园龄：9年9个月粉丝：0 关注：0

12 2024 档案

spark 批量写入redis控制

摘要：需求 spark scala 程序读取hive数据，sparksql解析然后分批写入redis 原则：一、尽可能少和redis交互，减少redis写入压力。二、可以考虑pipeline的操作习惯。三、不要一个partition只提交一个pipeline 网络传输压力大内存消耗高 Redi

41

0

0

随笔：19
文章：0
评论：0
阅读：1626

公告

昵称：唐钰逍遥
园龄： 9年9个月
粉丝： 0
关注： 0

<

2025年3月

>

日

一

二

三

四

五

六

23

24

25

26

27

28

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

1

2

3

4

5

随笔分类

随笔档案

阅读排行榜