2019年7月9日
spark 高层通用调优
摘要： 一，并行度 如果并行度设置的不足，那么就会导致集群浪费。Spark自动会根据文件的大小，是否可分割等因素来设置map的数目(后面会详细讲解输入格式，同时详细讲解各种输入的map数的决定)。对于分布式reduce操作，例如groupbykey和reducebykey，默认它使用的是分区数最大的父RDD 阅读全文
posted @ 2019-07-09 12:38 _XiongH 阅读(278) 评论(0) 推荐(0) 编辑