代码改变世界

随笔档案-2020年05月

Spark内存管理模型

2020-05-24 23:07 by DataBases, 675 阅读, 收藏, 编辑
摘要: 一般来说,一个spark程序包含两种 JVM 程序,Dirver 和 Executor。Dirver 是主要的控制程序,负责创建 context,提交任务,那 job 转换为 task 并且协调 task 在 executor 中的执行。Executor 主要是负责执行计算任务并且将结果返回给 Dr 阅读全文

hadoop Shuffle Spark Shuffle

2020-05-24 22:15 by DataBases, 339 阅读, 收藏, 编辑
摘要: hadoop Shuffle Spark Shuffle 阅读全文
点击右上角即可分享
微信分享提示