SparkShuffle是如何去拉取文件数据的
首先来了解几个概念：
1) MapOutputTracker
MapOutputTracker是Spark架构中的一个模块，是一个主从架构。管理磁盘小文件的地址。
- MapOutputTrackerMaster是主对象，存在于Driver中。
- MapOutputTrackerWorker是从对象，存在于Excutor中。
2) BlockManager
BlockManager块管理者，是Spark架构中的一个模块，也是一个主从架构。
- BlockManagerMaster,主对象，存在于Driver中。
BlockManagerMaster会在集群中有用到广播变量和缓存数据或者删除缓存数据的时候，通知BlockManagerSlave传输或者删除数据。
- BlockManagerWorker，从对象，存在于Excutor中。
BlockManagerWorker会与BlockManagerWorker之间通信。
无论在Driver端的BlockManager还是在Excutor端的BlockManager都含有四个对象：
① DiskStore:负责磁盘的管理。
② MemoryStore：负责内存的管理。
③ ConnectionManager：负责连接其他的 BlockManagerWorker。
④ BlockTransferService:负责数据的传输。
Shuffle文件寻找文件的流程图
Shuffle文件拉取流程：
a) 当map task执行完成后，会将task的执行情况和磁盘小文件的地址封装到MpStatus对象中，通过MapOutputTrackerWorker对象向Driver中的MapOutputTrackerMaster汇报。
b) 在所有的map task执行完毕后，Driver中就掌握了所有的磁盘小文件的地址。
c) 在reduce task执行之前，会通过Excutor中MapOutPutTrackerWorker向Driver端的MapOutputTrackerMaster获取磁盘小文件的地址。
d) 获取到磁盘小文件的地址后，会通过BlockManager(BlockManagerWork)中的ConnectionManager连接数据所在节点上的ConnectionManager（BlockManagerWork）,然后通过BlockTransferService进行数据的传输。
e) BlockTransferService默认启动5个task去节点拉取数据。默认情况下，5个task拉取数据量不能超过48M。
