会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
大数据学习与分享
博客园
首页
新随笔
联系
订阅
管理
2020年11月19日
重要 | Spark分区并行度决定机制
摘要: 最近经常有小伙伴留言,核心问题都比较类似,就是虽然接触Spark有一段时间了,但是搞不明白一个问题,为什么我从HDFS上加载不同的文件时,打印的分区数不一样,并且好像spark.default.parallelism这个参数时不是一直起作用?其实笔者之前的文章已有相关介绍,想知道为什么,就必须了解Spark在加载不同的数据源时分区决定机制以及调用不用算子时并行度决定机制以及分区划分。
阅读全文
posted @ 2020-11-19 09:06 大数据学习与分享
阅读(1061)
评论(0)
推荐(0)
编辑
公告