随笔分类 -  spark

摘要:在spark启动之后,worker和master注册通信之后,在进入用户提交app中,new SparkContext之后就会在worker上分配exectors了。 首先在sparkContext中,会先创建和启动TaskScheduler和DAGSchedule 在创建TaskScheduler 阅读全文
posted @ 2018-08-17 20:35 刘姥爷观园子 阅读(749) 评论(0) 推荐(0) 编辑
摘要:一般情况下,我们启动spark集群都是start-all.sh或者是先启动master(start-master.sh),然后在启动slave节点(start-slaves.sh),其实翻看start-all.sh文件里面的代码,可以发现它里面其实调用的执行的也是start-master.sh和st 阅读全文
posted @ 2018-08-16 20:08 刘姥爷观园子 阅读(444) 评论(0) 推荐(0) 编辑
摘要:spark在项目中已经用了一段时间了,趁现在空闲,下个源码编译在IDEA里面阅读下,特此记录过程。 前提已经安装maven和git 1、上官网下载源码的包; 2、然后解压到一个文件夹 3、编译,编译的具体的信息可以看官网的介绍http://spark.apache.org/docs/latest/b 阅读全文
posted @ 2018-08-08 20:30 刘姥爷观园子 阅读(142) 评论(0) 推荐(0) 编辑
摘要:问题描述: 项目中一位同事提交了一部分代码,代码分为一个抽象类,里面含有sparkcontent,sparkSession对象;然后又三个子类实例化上述抽象类,这三个子类处理三个任务,最后在同一个Main类,里面调用这个子类的处理任务的方法,进行计算;在本地(local)运行,一切正常,部署到测试服 阅读全文
posted @ 2018-07-03 15:32 刘姥爷观园子 阅读(5228) 评论(2) 推荐(0) 编辑

点击右上角即可分享
微信分享提示