摘要:
一、Spark中的Shuffle过程 Shuffle分为两种:Shuffle write、Shuffle read Spark中Shuffle分为两种:HahShuffle、SortShuffle; 1、HashShuffle 磁盘小文件的个数为:M*R = 4*3 =12个 每一个buffer的大 阅读全文
摘要:
对于Executor中执行的BlockManager总结如下: 1、一个Executor中一个BlockManager 2、一个worker中可以有多个Executor 3、对于driver端拥有的是BlockManagerMaster。 在task执行过程中,读取广播变量的时候,第一次读取广播变量 阅读全文