摘要: 2. 创建执行环境SparkEnv SparkEnv是Spark的执行环境对象,其中包括众多与Executor执行相关的对象。由于在local模式下Driver会创建Executor,local-cluster部署模式或者Standalone部署模式下Worker另起的CoarseGrainedEx 阅读全文
posted @ 2018-07-13 16:53 牧梦者 阅读(584) 评论(0) 推荐(0) 编辑
摘要: 3. 创建并初始化Spark UI 任何系统都需要提供监控功能,用浏览器能访问具有样式及布局并提供丰富监控数据的页面无疑是一种简单、高效的方式。SparkUI就是这样的服务。 在大型分布式系统中,采用事件监听机制是最常见的。为什么要使用事件监听机制?假如SparkUI采用Scala的函数调用方式,那 阅读全文
posted @ 2018-07-13 16:52 牧梦者 阅读(480) 评论(0) 推荐(0) 编辑