Springboot2 Metrics之actuator集成influxdb, Grafana提供监控和报警
到目前为止，各种日志收集，统计监控开源组件数不胜数，即便如此还是会有很多人只是tail -f查看一下日志文件。随着容器化技术的成熟，日志和metrics度量统计已经不能仅仅靠tail -f来查看了，你甚至都不能进入部署的机器。因此，日志收集和metrics统计就必不可少。日志可以通过logstash或者filebeat收集到ES中用来查阅。对于各种统计指标，springboot提供了actuator组件，可以对cpu, 内存，线程，request等各种指标进行统计，并收集起来。本文将粗略的集成influxdb来实现数据收集，以及使用Grafana来展示。
最终dashboard模板： https://github.com/Ryan-Miao/boot-metrics-exporter/blob/master/grafana/grafana-dashboard-template.json
最终获得如下统计报表：
对于redis cache命中率的统计：
对于单独重要request的统计
基于health check的alert
安装influxdb和Grafana
安装influxdb:
https://www.cnblogs.com/woshimrf/p/docker-influxdb.html
安装Grafana:
https://www.cnblogs.com/woshimrf/p/docker-grafana.html
Springboot配置
可以直接使用封装好的starter:
https://github.com/Ryan-Miao/boot-metrics-exporter
或者：
引入依赖
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-actuator</artifactId>
</dependency>
<dependency>
<groupId>io.micrometer</groupId>
<artifactId>micrometer-registry-influx</artifactId>
</dependency>
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
</dependency>
定义MeterConfig, 用来统一设置一些tag，比如instance id
@Component
public class MeterConfig implements MeterRegistryCustomizer {
private static final Logger LOGGER = LoggerFactory.getLogger(MeterConfig.class);
@Override
public void customize(MeterRegistry registry) {
try {
String hostAddress = InetAddress.getLocalHost().getHostAddress();
if (LOGGER.isDebugEnabled()) {
LOGGER.debug("设置metrics实例id为ip:" + hostAddress);
}
registry.config().commonTags("instance-id", hostAddress);
} catch (UnknownHostException e) {
String uuid = UUID.randomUUID().toString();
registry.config().commonTags("instance-id", uuid);
LOGGER.error("获取实例ip失败，设置实例id为uuid:" + uuid, e);
}
}
}
添加对应的配置：
management:
metrics:
export:
influx:
db: my-db
uri: http://192.168.5.9:8086
user-name: admin
password: admin
enabled: true
web:
server:
auto-time-requests: true
tags:
app: ${spring.application.name}
这里选择将metric export到influxdb，还有很多其他存储方案可选。
网络配置
grafana和influxdb可能部署在某个vpc，比如monitor集群。而需要收集的业务系统则遍布在各个业务线的vpc内，因此需要业务集群打通访问influxdb的网络和端口。
自定义Metrics
Springboot actuator暴露的health接口只有up/down的选择，在grafana如何使用这个来判断阈值，我还没找到，于是转换成了数字。
自定义MeterBinder
import io.micrometer.core.instrument.Gauge;
import io.micrometer.core.instrument.MeterRegistry;
import io.micrometer.core.instrument.binder.MeterBinder;
import lombok.Data;
@Data
public class HealthMetrics implements MeterBinder {
/**
* 100 up
* 0 down
* 0 unknown
*/
private Integer health = 100;
@Override
public void bindTo(MeterRegistry registry) {
Gauge.builder("health", () -> health)
.register(registry);
}
}
定义每30s更新一下状态：
public abstract class AbstractHealthCheckStatusSetter {
private final HealthMetrics healthMetrics;
protected AbstractHealthCheckStatusSetter(HealthMetrics healthMetrics) {
this.healthMetrics = healthMetrics;
}
/**
* 修改health的状态定义。修改HealthMetrics.health的value。
*/
public abstract void setHealthStatus(HealthMetrics h);
/**
* 定时更新health统计.
*/
@PostConstruct
void doSet() {
ScheduledExecutorService scheduledExecutorService = new ScheduledThreadPoolExecutor(1);
scheduledExecutorService.scheduleWithFixedDelay(
() -> setHealthStatus(healthMetrics), 30L, 30L, TimeUnit.SECONDS);
}
}
实现类
public class HealthCheckStatusSetter extends AbstractHealthCheckStatusSetter {
private final HealthEndpoint healthEndpoint;
public HealthCheckStatusSetter(HealthMetrics healthMetrics, HealthEndpoint healthEndpoint) {
super(healthMetrics);
this.healthEndpoint = healthEndpoint;
}
@Override
public void setHealthStatus(HealthMetrics healthMetrics) {
Health health = healthEndpoint.health();
if (health != null) {
Status status = health.getStatus();
switch (status.getCode()) {
case "UP": {
healthMetrics.setHealth(100);
break;
}
case "DOWN":
;
case "UNKNOWN":
;
default: {
healthMetrics.setHealth(0);
break;
}
}
}
}
}
加入配置
@Bean
@ConditionalOnMissingBean
public HealthMetrics healthMetrics() {
return new HealthMetrics();
}
/**
* 这里采用healthEndpoint来判断系统的健康状况。如果有别的需要，可以实现AbstractHealthCheckStatusSetter，自己设置health.
*/
@Bean
@ConditionalOnMissingBean
@ConditionalOnBean(HealthEndpoint.class)
public AbstractHealthCheckStatusSetter healthCheckSchedule(HealthEndpoint healthEndpoint, HealthMetrics healthMetrics) {
return new HealthCheckStatusSetter(healthMetrics, healthEndpoint);
}
Redis cache命中率统计
整套metrics监控是基于Spring boot actuator来实现的，而actuator是通过io.micrometer来做统计的。那么就可以通过自定义micrometer metrics的方式来添加各种metric。比如我们常用redis作为缓存，那么缓存的命中率是我们所关注的。可以自己写一套counter来记录：命中hit+1，没命中miss+1.
也可以直接使用redisson。
我们使用RedissonCache来集成spring cache, 此时cache的命中统计指标就已经被收集好了。
Cache基本统计指标的定义：
然而，统计的结果是按行存储的：
怎么基于此计算命中率呢？
hit-rate= sum(hit)/sum(hit+miss)
因此，我手动对这个序列做了整合：
DROP CONTINUOUS QUERY cq_cache_hit ON my-db
DROP CONTINUOUS QUERY cq_cache_miss ON my-db
DROP measurement cache_hit_rate
CREATE CONTINUOUS QUERY "cq_cache_hit" ON "my-db" RESAMPLE EVERY 10m BEGIN SELECT sum("value") AS hit INTO "cache_hit_rate" FROM "rp_30days"."cache_gets" WHERE ( "result" = 'hit') GROUP BY time(10m),"app", "cache" fill(0) END
CREATE CONTINUOUS QUERY "cq_cache_miss" ON "my-db" RESAMPLE EVERY 10m BEGIN SELECT sum("value") AS miss INTO "cache_hit_rate" FROM "rp_30days"."cache_gets" WHERE ( "result" = 'miss') GROUP BY time(10m),"app", "cache" fill(0) ENDD
监控告警
Grafana提供了alert功能，当查询的指标不满足阈值时，发出告警。
选择influxdb or Prometheus ?
关于收集metric指标的存储方案，大多数教程都是Prometheus, 生态比较完整。我当时之所以选择influxdb，仅仅是因为容器的网络问题。Prometheus需要访问实例来拉取数据，需要允许Prometheus访问业务网络，那我就得不停打通网络，而且，k8s集群不同的网络是不通的，没找到网络打通方案。而influx这种只要实例push数据。同样的，还可以选择es。
influxdb有单点局限性，以及数量大之后的稳定性等问题。需要合理的计算时间间隔的数据。比如，对于几天几个月等查询，提前汇总细粒度的统计。
还有一种据说可以无限扩展的方案就是OpenTSDB. 暂未研究。
会遇到的问题
当前demo是influxdb单点，极其脆弱，稍微长点的时间间隔查询就会挂掉，也只能用来做demo，或者只是查看最近15min这种简单的实时查看。对于近几个月，一年这种长时间聚合，只能提前做好聚合函数进行粗粒度的统计汇总。
参考
关注我的公众号
