2021年12月7日
Spark核心思想
摘要： 一、Spark的两种核心Shuffle Shuffle涉及磁盘的读写和网络的IO，因此shuffle性能的高低直接影响整个程序的性能。Spark也有map阶段和reduce阶段，因此也有Shuffle。 1）基于hash的shuffle 在每个Map阶段的task会为每个reduce阶段的task生 阅读全文
posted @ 2021-12-07 08:55 Shydow 阅读(174) 评论(0) 推荐(0) 编辑