08 2018 档案
摘要:在spark启动之后,worker和master注册通信之后,在进入用户提交app中,new SparkContext之后就会在worker上分配exectors了。 首先在sparkContext中,会先创建和启动TaskScheduler和DAGSchedule 在创建TaskScheduler
阅读全文
摘要:一般情况下,我们启动spark集群都是start-all.sh或者是先启动master(start-master.sh),然后在启动slave节点(start-slaves.sh),其实翻看start-all.sh文件里面的代码,可以发现它里面其实调用的执行的也是start-master.sh和st
阅读全文
摘要:spark在项目中已经用了一段时间了,趁现在空闲,下个源码编译在IDEA里面阅读下,特此记录过程。 前提已经安装maven和git 1、上官网下载源码的包; 2、然后解压到一个文件夹 3、编译,编译的具体的信息可以看官网的介绍http://spark.apache.org/docs/latest/b
阅读全文
摘要:关于这次总结还是要从一个bug说起。。。。。。。 场景描述:项目的基本处理流程为:从文件系统读取每隔一分钟上传的日志并由Spark Streaming进行计算消费,最后将结果写入InfluxDB中,然后在监控系统中进行展示,监控。这里的spark版本为2.2.1。 Bug:程序开发完成之后,每个ba
阅读全文