鱼儿慢慢游~~

导航

 

2016年10月20日

摘要: 在编写spark测试应用时, 会用到sc.textFile(path, partition) 当配置为spark分布式集群时,当你读取本地文件作为输入时, 需要将文件存放在每台work节点上。 这时会有困惑,spark在读取文件时,是每台worker节点都把文件读入? 然后在进行分配? 会不会出现重 阅读全文
posted @ 2016-10-20 14:52 miss_UU 阅读(3229) 评论(0) 推荐(0) 编辑