随笔分类 - spark
摘要:在spark启动之后,worker和master注册通信之后,在进入用户提交app中,new SparkContext之后就会在worker上分配exectors了。 首先在sparkContext中,会先创建和启动TaskScheduler和DAGSchedule 在创建TaskScheduler
阅读全文
摘要:一般情况下,我们启动spark集群都是start-all.sh或者是先启动master(start-master.sh),然后在启动slave节点(start-slaves.sh),其实翻看start-all.sh文件里面的代码,可以发现它里面其实调用的执行的也是start-master.sh和st
阅读全文
摘要:spark在项目中已经用了一段时间了,趁现在空闲,下个源码编译在IDEA里面阅读下,特此记录过程。 前提已经安装maven和git 1、上官网下载源码的包; 2、然后解压到一个文件夹 3、编译,编译的具体的信息可以看官网的介绍http://spark.apache.org/docs/latest/b
阅读全文
摘要:问题描述: 项目中一位同事提交了一部分代码,代码分为一个抽象类,里面含有sparkcontent,sparkSession对象;然后又三个子类实例化上述抽象类,这三个子类处理三个任务,最后在同一个Main类,里面调用这个子类的处理任务的方法,进行计算;在本地(local)运行,一切正常,部署到测试服
阅读全文