会员
周边
众包
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
鱼儿慢慢游~~
导航
博客园
首页
新随笔
联系
订阅
管理
公告
2016年10月20日
spark textFile 困惑与解释
摘要: 在编写spark测试应用时, 会用到sc.textFile(path, partition) 当配置为spark分布式集群时,当你读取本地文件作为输入时, 需要将文件存放在每台work节点上。 这时会有困惑,spark在读取文件时,是每台worker节点都把文件读入? 然后在进行分配? 会不会出现重
阅读全文
posted @ 2016-10-20 14:52 miss_UU
阅读(3229)
评论(0)
推荐(0)
编辑