2022年3月6日
Spark Optimize
摘要： Spark SQL Optimize Case 1: distribute by引起的shuffle 起初有两张表进行join,但随着一张表的数据量增长，会导致task的运行时间很长，拖慢整个Job的运行过程,为了加快任务的运行,就增加大shuffle.partitions的大小,并且使用distr 阅读全文
posted @ 2022-03-06 22:36 yuexiuping 阅读(363) 评论(0) 推荐(0) 编辑