2019年7月27日
[转]SparkSQL的自适应执行---Adaptive Execution
摘要： 1 背景 本文介绍的 Adaptive Execution 将可以根据执行过程中的中间数据优化后续执行，从而提高整体执行效率。核心在于两点 执行计划可动态调整 调整的依据是中间结果的精确统计信息 2 动态设置 Shuffle Partition 2.1 Spark Shuffle 原理 如上图所示， 阅读全文
posted @ 2019-07-27 11:15 sw_kong 阅读(1593) 评论(1) 推荐(0) 编辑