Prometheus+Grafana可视化监控【主机状态】
一、介绍
Prometheus是一个开源的系统监控和报警系统，现在已经加入到CNCF基金会，成为继k8s之后第二个在CNCF托管的项目，在kubernetes容器管理系统中，通常会搭配prometheus进行监控，同时也支持多种exporter采集数据，还支持pushgateway进行数据上报，Prometheus性能足够支撑上万台规模的集群。
Prometheus优点：
- 通过PromQL实现多维度数据模型的灵活查询。
- 定义了开放指标数据的标准，自定义探针（如Exporter等），编写简单方便。
- PushGateway组件让这款监控系统可以接收监控数据。
Grafana是一个开源的可视化系统，使用Grafana展示页面更美观。
二、安装Prometheus
1、时间&时区同步
对于监控系统而言,时间不同步会严重导致采集数据失败，或采集数据不准确！
# 时区同步
timedatectl set-timezone Asia/Shanghai
# 时间同步
yum -y install ntpdate
/usr/sbin/ntpdate -u ntp1.aliyun.com
针对时间做定时同步
# 每天凌晨5点进行时间同步
echo "0 5 * * * /usr/sbin/ntpdate -u ntp1.aliyun.com >/dev/null &" >> /var/spool/cron/root
# 查看定时任务
crontab -l
2、安装Prometheus
prometheus官方下载地址:
wget https://github.com/prometheus/prometheus/releases/download/v2.42.0/prometheus-2.42.0.linux-amd64.tar.gz
tar zxf prometheus-2.42.0.linux-amd64.tar.gz
mv prometheus-2.42.0.linux-amd64 /usr/local/prometheus
cd /usr/local/prometheus/
# 修改配置监控自己的19090端口
sed -i s/localhost:9090/localhost:19090/g prometheus.yml
# 启动监听端口为19090,不加默认9090
nohup ./prometheus --config.file=prometheus.yml --web.listen-address=:19090 &
3、添加systemd管理 && 设置开机自启
cat >> /usr/local/prometheus/run.sh << EOF
cd /usr/local/prometheus && \
./prometheus --config.file=prometheus.yml \
--web.listen-address=:19090
EOF
cat >> /usr/lib/systemd/system/prometheus.service << EOF
[Unit]
[Service]
ExecStart=/usr/bin/bash /usr/local/prometheus/run.sh
ExecReload=/bin/kill -HUP $MAINPID
[Install]
WantedBy=multi-user.target
Alias=dbus-org.fedoraproject.FirewallD1.service
EOF
systemctl start prometheus.service
systemctl enable prometheus.service
4、验证
浏览器访问 IP:19090
如上图所示：监控自己状态为UP表示至此步骤无误！
三、安装Grafana
1、安装Grafana
Grafana官方下载地址
wget https://dl.grafana.com/enterprise/release/grafana-enterprise-9.4.1-1.x86_64.rpm
sudo yum install grafana-enterprise-9.4.1-1.x86_64.rpm -y
systemctl enable grafana-server.service --now
2、验证
浏览器访问 IP:3000
第一次需要更改密码，正常操作即可。
四、Pronetheus Grafana相关联
划到末端 点击"Save & test"
五、监控服务器状态
1、node_exporter组件安装
node_exporter是Prometheus指标收集组件,和传统的指标数据收集组件不同的是，它只负责收集数据，并不向Server端发送数据，而是等待Prometheus Server 主动抓取。
wget https://github.com/prometheus/node_exporter/releases/download/v1.5.0/node_exporter-1.5.0.linux-amd64.tar.gz
tar zxf node_exporter-1.5.0.linux-amd64.tar.gz
mv node_exporter-1.5.0.linux-amd64 /usr/local/prometheus/node_exporter
cd /usr/local/prometheus/node_exporter/
nohup ./node_exporter &
默认监听9100端口
netstat -anput |grep 9100
tcp6 0 0 :::9100 :::* LISTEN 3372/./node_exporte
2、Prometheus添加监控主机配置
vim /usr/local/prometheus/prometheus.yml
# 末尾添加一下配置,注意缩进要遵守yml格式
- job_name: "node-200"
static_configs:
- targets: ["localhost:9100"]
systemctl restart prometheus.service
3、导入Node监控模板
模板地址：
打开Grafana平台进行如下配置：
最终效果如下：
六、常见问题
1、重启prometheus报 Error on ingesting samples that are too old or are too far into the future 问题解决
# 清空Prometheus data目录之后重启
mv data data_bak
mkdir data
systemctl restart prometheus.service
