运维系列：10、Spark监控之Metrics

Spark使用的Metrics是https://github.com/dropwizard/metrics

配置

参考conf/metrics.properties.template 模块模板，并带有配置说明

配置方法

syntax: [instance].sink|source.[name].[options]=[value]

[instance]可取值为：master、worker、executor、driver、applications、*等。*配置的属性被其它值继承.

sink|source：指定配置的属性是source，还是sink

　　　source：第一种为Spark内部source，MasterSource、WorkerSource等，它们会接收Spark组件的内部状态；
　　　　　　　 第二种为通用source，如：JvmSource，它收集低级别的状态
　　　sink：指定metrics信息发送到哪，每个instance可以设置一个或多个Sink

[name]：指定source或sink的名称

[options]：

备注：
　　添加一个新sink，选项class的值为完整类名称，带包
　　一些Sink牵涉轮询时间，最短的轮询时间是1秒
　　精确的instance会覆盖*配置，如：master.sink.console.period会覆盖*.sink.console.period
　　默认的配置文件为“park.metrics.conf=${SPARK_HOME}/conf/metrics.properties”，因此会自动加载${SPARK_HOME}/conf/metrics.properties。如果想修改文件位置，可以使用java的运行时属性-Dspark.metrics.conf=xxx进行修改。
　　

　

新建文件conf/metrics.properties