VictoriaMetrics vmagent的一些介绍
以前有简单说明过vmagent,实际上vmagent可以替代我们做好多事情.以下是一个说明
vmagent的作用
主要目的是实现metrics 的收集然后存储到VictoriaMetrics以及prometheus兼容的存储系统(主要支持remote_write 协议即可,有好多实现)
同时一个好处是实现了metrics 的push,而不是prometheus 的pull(比如无法pull 的场景)
参考架构图
特性
- 替换prometheus 的scraping target(比如node export)
- 基于prometheus relabeling 的模式添加,移除,修改labels ,可以方便在数据发送到远端存储之前进行数据的过滤
- 支持多种数据协议,influx line 协议,grapgite 文本协议,opentsdb 协议,prometheus remote write 协议,json lines协议,csv 数据
- 支持收集数据的同时,并复制到多种远端存储系统
- 支持不可靠远端存储(通过本地存储 -remoteWrite.tmpDataPath ),同时支持最大磁盘占用
- 相比prometheus使用较少的内存,cpu,磁盘io,以及网络带宽
启动模式
- 参考命令
/path/to/vmagent -promscrape.config=/path/to/prometheus.yml -remoteWrite.url=https://victoria-metrics-host:8428/api/v1/write
使用场景
- iot 以及边缘监控
- 替换prometheus
- 数据复制以及高可用
- 标签重命名以及过滤
- 多种存储系统系统数据流的切分(比如到kafka,timescaledb,cratedb,es。。。)
- prometheus remote_write 的proxy (promxy 也是一个可选方案)
收集 prometheus 格式数据
- 配置说明
类似prometheus,主要使用了global以及scrape_configs,注意remote_write 会被忽略,应该使用-remoteWrite.*
替换 - scrape_config 支持的配置
- static_configs - 静态配置
- file_sd_configs - 基于文件的服务发现
- kubernetes_sd_configs - k8s 服务发现
- ec2_sd_configs - ec2 服务发现
- gce_sd_configs - gce_sd 服务发现
- dns_sd_configs - consul 服务发现
添加label 到metrics
支持的模式为
- promscrape.config 文件中的 global -> external_labels 配置节点
- 通过remoteWrite.label 命令行参数,当然为添加到所有的metrics到 remoteWrite.url 支持的存储
标签重命名
- 支持的操作
replace_all:替换的所有OCCURENCES regex中的值source_labels与replacement和结果存储在target_label。
labelmap_all:将所有regex标签名称中所有出现的内容替换
- 支持的配置位置
在文件promscrape.config scrape_config -> relabel_configs部分。此重新标记将应用于目标标签。
在文件promscrape.config scrape_config -> metric_relabel_configs部分。此重新标记将应用于给定中的所有已抓取指标scrape_config。
在-remoteWrite.relabelConfig文件。在将所有收集到的度量标准发送到远程存储之前,会将其重新贴标签。
在-remoteWrite.urlRelabelConfig文件。将此重新标记应用于发送到相应的-remoteWrite.url
监控
vmagent 暴露了一些metrics 以及 http://vmagent-host:8429/targets 方便查看target
常见问题
- 推荐增加ulimit 限制
- 当住区大量不可达target的时候会有错误提示,可以通过
-promscrape.suppressScrapeErrors
命令行参数禁止 - 推荐增加
-remoteWrite.queues
对于如果有超过10万的采样,我们可以通过暴露的vmagent_remotewrite_pending_data_bytes
metrics查看 - vmagent 支持数据的本地cache,好多时候对于大量数据可能会有磁盘空间的问题,我们可以通过
-remoteWrite.maxDiskUsagePerURL
参数调整
说明
以上内容来自官方文档,通过文档我们可以了解vmagent的场景,同时也可以学习到很多不错的设计理念,可以看看源码
参考资料
https://github.com/VictoriaMetrics/VictoriaMetrics/tree/master/app/vmagent