摘要:
textFile: defaultParallelism=max(totalCoreCount,2) min(defaultParallelism,2) parallelize: max(totalCoreCount,2) 假设是4核的,那么: 对于textFile: defaultParallel 阅读全文
摘要:
hdfs上的路径: path="hdfs:///主机名:端口号/地址" 本地上的路径: path"file:///本地地址" 读取文件: rdd=sc.textFile(path) 阅读全文