Pushgateway
Pushgateway 是 Prometheus 生态中一个重要工具，使用它的原因主要是：
Prometheus 采用 pull 模式，可能由于不在一个子网或者防火墙原因，导致 Prometheus 无法直接拉取各个 target 数据。
在监控业务数据的时候，需要将不同数据汇总, 由 Prometheus 统一收集。
由于以上原因，不得不使用 pushgateway，但在使用之前，有必要了解一下它的一些弊端：
将多个节点数据汇总到 pushgateway, 如果 pushgateway 挂了，受影响比多个 target 大。
Prometheus 拉取状态 up 只针对 pushgateway, 无法做到对每个节点有效。
Pushgateway 可以持久化推送给它的所有监控数据。
因此，即使你的监控已经下线，prometheus 还会拉取到旧的监控数据，需要手动清理 pushgateway 不要的数据。
拓扑图如下：
下载安装：
tar -zxvf pushgateway-0.8.0.linux-amd64.tar.gz
./pushgateway
改prometheus的配置文件，给pushgateway定义一个job
-job_name: 'pushgateway_test' #这个名称可以自定义，后面会用到
static_configs:
- targets: ['localhost:9091'] #这里是pushgateway的地址
数据管理
正常情况我们会使用 Client SDK 推送数据到 pushgateway, 但是我们还可以通过 API 来管理, 例如：
向 {job="pushgateway_test"} 添加单条数据：
echo "pushgateway_test_metric 3.14" | curl --data-binary @- http://pushgateway.example.org:9091/metrics/job/pushgateway_test
--data-binary 表示发送二进制数据，注意：它是使用POST方式发送的！
添加更多更复杂数据，通常数据会带上 instance, 表示来源位置：
cat <<EOF | curl --data-binary @- http://pushgateway.example.org:9091/metrics/job/some_job/instance/some_instance
# TYPE some_metric counter
some_metric{label="val1"} 42
# TYPE another_metric gauge
# HELP another_metric Just an example.
another_metric 2398.283
EOF
可以发现 pushgateway 中的数据我们通常按照 job 和 instance 分组分类，所以这两个参数不可缺少。
因为 Prometheus 配置 pushgateway 的时候，也会指定 job 和 instance, 但是它只表示 pushgateway 实例，不能真正表达收集数据的含义。
所以在 prometheus 中配置 pushgateway 的时候，需要添加 honor_labels: true 参数， 从而避免收集数据本身的 job 和 instance 被覆盖。
注意，为了防止 pushgateway 重启或意外挂掉，导致数据丢失，我们可以通过 --persistence.file="" 和--persistence.interval=5m参数将数据持久化下来。
删除某个组下的某实例的所有数据：
删除某个组下的所有数据：
curl -X DELETE http://pushgateway.example.org:9091/metrics/job/some_job
