摘要: 原文来我的公众号:Spark性能优化指南——初级篇 一. Spark作业原理 我们使用spark-submit提交一个Spark作业之后,这个作业就会启动一个对应的Driver进程。该进程是向集群管理器(Yarn,K8s)申请运行Spark作业需要使用的资源,这里的资源指的就是Executor进程。 阅读全文
posted @ 2019-12-26 20:38 骑着龙的羊 阅读(318) 评论(0) 推荐(0) 编辑
摘要: 原文来自我的个人网站:http://www.itrensheng.com/archives/Spark_basic_knowledge 一. Spark出现的背景 在Spark出现之前,大数据计算引擎主要是MapReduce。HDFS + MapReduce的组合几乎可以实现所有的大数据应用场景。M 阅读全文
posted @ 2019-12-26 13:35 骑着龙的羊 阅读(1268) 评论(2) 推荐(2) 编辑