Spark的代码模块
scheduler:负责整体的Spark应用、任务调度的代码。
broadcast:Broadcast(广播变量)的实现代码
deploy:含有Spark部署与启动运行的代码。
common:不是一个文件夹,而是代表Spark通用的类和逻辑实现
metrics:运行时状态监控逻辑代码,Executor中含有Worker节点负责计算的逻辑代码。
partial:含有近似评估代码。
network:含有集群通信模块代码。
serializer:含有序列化模块的代码。
storage:含有存储模块的代码。
ui:含有监控界面的代码逻辑。其他的代码模块分别是对Spark生态系统中其他组件的实现。
streaming:是Spark Streaming的实现代码。
YARN:是Spark on YARN的部分实现代码。
graphx:含有GraphX实现代码。
interpreter:代码交互式Shell的代码量为3300行。
mllib:代表MLlib算法实现的代码量。
sql代表Spark SQL的代码量
<<<<<<<<<<梦里有首诗,不是咏花开,就是叹花落;梦里有处景色,清晨是你,黄昏是我。>>>>>>>>>>>>>