2018年6月12日
【Flume】数据采集引擎Flume
摘要： 一、概述 flume是一个高效的、可靠的、可用的分布式海量日志数据收集、聚合、传输的工具。 Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and mov 阅读全文
posted @ 2018-06-12 21:47 Supernova-x 阅读(759) 评论(0) 推荐(0) 编辑
【Spark】源码分析之SparkContext
摘要： 一、概述 SaprkContext非常重要，是Spark提交任务到集群的入口 SparkContext中没有main方法，在SparkContext主构造器中，主要做一下四件事情： 1. 调用createSparkEnv()创建SparkEnv，SparkEnv中能够得到ActorSystem对象， 阅读全文
posted @ 2018-06-12 21:12 Supernova-x 阅读(190) 评论(0) 推荐(0) 编辑
【Spark】源码分析之spark-submit
摘要： 在客户端执行脚本sbin/spark-submit的时候，通过cat命令查看源码可以看出，实际上在源码中将会执行bin/spark-class org.apache.spark.deploy.SparkSubmit 。在IDEA导入的Spark-Core的源码进行分析... 阅读全文
posted @ 2018-06-12 20:14 Supernova-x 阅读(169) 评论(0) 推荐(0) 编辑