会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
muyue123
博客园
首页
新随笔
联系
订阅
管理
随笔 - 67
文章 - 0
评论 - 0
阅读 -
27229
10 2021 档案
oom常见的解决方式
摘要:分析spark常见的问题不外乎oom:我们首先看一下Spark 的内存模型:Spark在一个Executor中的内存分为三块,一块是execution内存,一块是storage内存,一块是other内存。execution内存是执行内存,文档中说join,aggregate都在这部分内存中执行,sh
阅读全文
posted @
2021-10-28 17:34
muyue123
阅读(512)
评论(0)
推荐(0)
编辑
公告
昵称:
muyue123
园龄:
4年7个月
粉丝:
1
关注:
0
+加关注
<
2025年1月
>
日
一
二
三
四
五
六
29
30
31
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
1
2
3
4
5
6
7
8
搜索
常用链接
我的随笔
我的评论
我的参与
最新评论
我的标签
随笔分类
clickhouse(11)
hive(7)
pyspark(14)
python(9)
s3(2)
spark(15)
structured_streaming(3)
数据库(3)
随笔档案
2021年10月(1)
2021年9月(2)
2021年8月(3)
2021年7月(3)
2021年6月(2)
2021年4月(3)
2021年3月(1)
2021年2月(3)
2021年1月(3)
2020年12月(2)
2020年11月(6)
2020年10月(6)
2020年9月(5)
2020年8月(3)
2020年7月(13)
2020年6月(11)
阅读排行榜
1. spark-submit参数详解(5778)
2. .sparkstaging设置(2179)
3. spark中替换回车换行等(1680)
4. hive表中有数据但count结果为0(1590)
5. python的datetime转换为unix时间戳(1104)
点击右上角即可分享