dremio 节点监控
dremio 的节点包含了执行以及协调,我们可以基于提供的prometheus metrics 进行监控,同时基于提供的jmx 也是一个
不错的选择
主要jmx 监控项
- heap 内存以及gc 频率
- 直接内存使用
- 轻量级线程监控
指标说明
- heap 内存以及gc
heap: memory.heap.usage
gc: gc.PS-MarkSweep.count, gc.PS-MarkSweep.time, gc.PS-Scavenge.count, gc.PS-Scavenge. - 直接内存
总执行引擎可以使用的:dremio.memory.direct_current
总jvm 使用的:dremio.memory.jvm_direct_current
轻量级线程
可以通过 dremio.exec.work.running_fragments 监控
开启jmx 指标
DREMIO_JAVA_SERVER_EXTRA_OPTS='
-Dcom.sun.management.jmxremote.port=<monitoring port>
-Dcom.sun.management.jmxremote.authenticate=false
-Dcom.sun.management.jmxremote.ssl=false'
系统提供的jmx 指标
具体可以参考连接,还是比较全的
说明
jmx-exporter 以及jmxtrans 都是不错的监控集成工具,可以生产使用
参考资料
https://docs.dremio.com/advanced-administration/monitoring.html
https://github.com/prometheus/jmx_exporter
https://github.com/jmxtrans/jmxtrans
https://github.com/rongfengliang/jmx-exporter-jmxtrans-nexus-docker-compose
https://github.com/dremio-hub/dremio-prometheus-exporter
https://docs.dremio.com/advanced-administration/telemetry.html
https://docs.oracle.com/javase/7/docs/technotes/guides/management/agent.html#gdevf