Prometheus监控实战系列八：标签重写

标签重写（Relabeling)是Prometheus一个非常有用的功能，它可以在任务拉取(scraping)阶段前，修改target和它的labels。该功能在日常的监控中常常会使用到，值得我们好好了解。

一. 默认标签

默认情况下，Prometheus加载targets后，都会包含一些默认的标签，其中以__作为前置的标签是在系统内部使用的，因此这些标签不会写入到样本数据中。

如：

__address__：当前Target实例的访问地址

__scheme__：采集目标服务访问地址的HTTP Scheme，HTTP或者HTTPS；

__metrics_path__:采集目标服务访问地址的访问路径；

上面这些标签将会告诉Prometheus如何从该目标实例中获取监控数据，而通过标签重写功能，我们可以对这些标签进行重写，从而实现对Target目标的控制。

二. relabel_config

标签重写的配置参数为relabel_config，其完整的配置格式如下：

#源标签，需要在现有标签中已存在
[ source_labels: '[' <labelname> [, ...] ']' ]

# 多个源标签的分隔符;
[ separator: <string> | default = ; ]

# 要替换的目标标签;
[ target_label: <labelname> ]

# 正则表达式，用于匹配源标签的值
[ regex: <regex> | default = (.*) ]

# 源标签值取hash的模块;
[ modulus: <uint64> ]

# 当正则表达式匹配时，用于替换的值，$1代替正则匹配到的值；
[ replacement: <string> | default = $1 ]

# 基于正则匹配的动作
[ action: <relabel_action> | default = replace ]

其中，相关的action类型有如下几种：

replace：正则匹配源标签的值用来替换目标标签，如果有replacement,使用replacement替换目标标签；keep: 如果正则没有匹配到源标签的值，删除该targets ，不进行采集；drop: 与keep相反，正则匹配到源标签，删除该targets；labelmap：正则匹配所有标签名，将匹配的标签值部分做为新标签名，原标签值做为新标签的值；labeldrop：正则匹配所有标签名，匹配则移除标签;labelkeep：正则匹配所有标签名，不匹配的标签会被移除;

注意：重定义标签并应用后，__开头的标签会被删除;要临时存储值用于下一阶段的处理,使用__tmp开头的标签名,这种标签不会被Prometheus使用;

三. 功能操作

在开始测试前，我们先配置一个测试Job，该Job包含两个实例，实例分别包含了两个标签，__machine_hostname和__machine_idc__。

scrape_configs:
  - job_name: 'myjob'
    static_configs:
    - targets: 
      -  '10.12.61.1:9100'
      labels:
 
        __machine_hostname__: 'node-01'
         __machine_idc__: 'idc-01'
    - targets: 
      -  '10.12.61.2:9100'
      labels:
 
       __machine_hostname__: 'node-02'
        __machine_idc__: 'idc-02'

replace操作

将__machine_hostname__的值替换到新标签hostname

scrape_configs:
  - job_name: 'myjob'
    static_configs:
    - targets:
 
      -  '10.12.61.1:9100'
      labels:
 
        __machine_hostname__: 'node-01'
         __machine_idc__: 'idc-01'
    - targets:
 
      -  '10.12.61.2:9100'
      labels:
 
        __machine_hostname__: 'node-02'
        __machine_idc__: 'idc-02'
    relabel_configs:
    - source_labels: [__machine_hostname__]
      regex: "(.*)"
 
     target_label: "hostname"
 
     action: replace
 
     replacement: '$1'

重启Prometheus后，查看target信息如下：

keep/drop操作

排除标签值不匹配正则的targets 目标，此处正则匹配__machine_hostname__: 'node-01' 。

scrape_configs:
  - job_name: 'myjob'

    static_configs:
    - targets:
 
      -  '10.12.61.1:9100'
      labels:
 
        __machine_hostname__: 'node-01'
        __machine_idc__: 'idc-01'
    - targets:
 
      -  '10.12.61.2:9100'
      labels:
 
        __machine_hostname__: 'node-02'
        __machine_idc__: 'idc-02'
    relabel_configs:
    - source_labels: [__machine_hostname__]
      regex: "(.*)-01"
      target_label: "hostname"
      action: keep
      replacement: '$1'

查看target信息，发现只保留正则匹配的实例。

如果将上面配置的action改为drop，则结果相反，将删除正则匹配到标签的实例。

labelmap操作

重写新的标签hostname和idc，使用原有__machine_hostname__和__machine_idc__标签的值。

scrape_configs:
  - job_name: 'myjob'
    static_configs:
    - targets:
 
      -  '10.12.61.1:9100'
      labels:
 
        __machine_hostname__: 'node-01'
        __machine_idc__: 'idc-01'
    - targets:
 
      -  '10.12.61.2:9100'
      labels:
 
        __machine_hostname__: 'node-02'
        __machine_idc__: 'idc-02'
    relabel_configs:
      - action: labelmap
        regex: __machine_(.+)__
查看target信息，可看到重写的新标签。