2020年7月10日
spark 解决大文件造成的分区数据量过大的问题
摘要： 背景 在使用spark处理文件时，经常会遇到要处理的文件大小差别的很大的情况。如果不加以处理的话，特别大的文件就可能产出特别大的spark 分区，造成分区数据倾斜，严重影响处理效率。 解决方案 Spark RDD spark在读取文件构建RDD的时候（调用spark.SparkContext.Tex 阅读全文
posted @ 2020-07-10 01:15 sxhlinux 阅读(6840) 评论(0) 推荐(0) 编辑