2020年5月20日
Spark性能调优
摘要： 1、对于读入的数据，做好清洗、转换、分区工作 rdd1 = sc.textFile("hdfs://text.txt", 15).map(_.split("|")) .filter{//尽量严格过滤} .map(id, money)//提取必要字段，减少数据量 .coalesce(10, True) 阅读全文
posted @ 2020-05-20 14:47 fionaplanet 阅读(227) 评论(0) 推荐(0) 编辑