摘要: 背景 在使用spark处理文件时,经常会遇到要处理的文件大小差别的很大的情况。如果不加以处理的话,特别大的文件就可能产出特别大的spark 分区,造成分区数据倾斜,严重影响处理效率。 解决方案 Spark RDD spark在读取文件构建RDD的时候(调用spark.SparkContext.Tex 阅读全文
posted @ 2020-07-10 01:15 sxhlinux 阅读(6788) 评论(0) 推荐(0) 编辑