会员
周边
众包
新闻
博问
闪存
赞助商
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
BigData
博客园
首页
新随笔
联系
管理
订阅
随笔- 75 文章- 0 评论- 8 阅读-
12万
随笔分类 -
大数据
spark 高层通用调优
摘要:一,并行度 如果并行度设置的不足,那么就会导致集群浪费。Spark自动会根据文件的大小,是否可分割等因素来设置map的数目(后面会详细讲解输入格式,同时详细讲解各种输入的map数的决定)。对于分布式reduce操作,例如groupbykey和reducebykey,默认它使用的是分区数最大的父RDD
阅读全文
posted @
2019-07-09 12:38
_XiongH
阅读(280)
评论(0)
推荐(0)
编辑
大数据技术框架
摘要:大数据整体技术框架 大数据技术框架简单入门知识。所有大数据项目都是遵循这套流程。
阅读全文
posted @
2019-07-07 16:29
_XiongH
阅读(569)
评论(0)
推荐(0)
编辑
公告
昵称:
_XiongH
园龄:
5年7个月
粉丝:
10
关注:
1
<
2025年2月
>
日
一
二
三
四
五
六
26
27
28
29
30
31
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
1
2
3
4
5
6
7
8
点击右上角即可分享