摘要: 12. Spark环境更新 在SparkContext的初始化过程中,可能对其环境造成影响,所以需要更新环境,代码如下: SparkContext初始化过程中,如果设置了spark.jars属性,spark.jars指定的jar包将由addJar方法加入httpFileServer的jarDir变量 阅读全文
posted @ 2018-07-16 16:47 牧梦者 阅读(349) 评论(0) 推荐(0) 编辑
摘要: 9. 启动测量系统MetricsSystem MetricsSystem使用codahale提供的第三方测量仓库Metrics。MetricsSystem中有三个概念: Instance:指定了谁在使用测量系统; Source:指定了从哪里收集测量数据; Sink:指定了从哪里输出测量数据; Spa 阅读全文
posted @ 2018-07-16 14:42 牧梦者 阅读(760) 评论(0) 推荐(0) 编辑