suyanhj

2023年11月11日

摘要： zookeeper部署下载地址： https://archive.apache.org/dist/zookeeper/ http://zookeeper.apache.org/releases.html 单节点部署 1）下载二进制包配置环境 #安装oracle jdk或openjdk yum in 阅读全文

posted @ 2023-11-11 23:55 suyanhj 阅读(28) 评论(0) 推荐(0) 编辑

kafka消息队列

摘要：官网：http://kafka.apache.org/ 简介： Kafka被称为下一代分布式消息系统，由scala和Java编写用于构建实时数据管道和流应用程序。它具有水平可伸缩性，容错性，快速性，可在数千家公司中投入生产使用内存映射和零时拷贝机制达到io高性能常用消息队列对比： kafka最阅读全文

posted @ 2023-11-11 21:06 suyanhj 阅读(96) 评论(0) 推荐(0) 编辑

zookeeper

摘要： ZooKeeper服务：官网：https://zookeeper.apache.org/ ZooKeeper介绍： ZooKeeper是一个分布式服务框架，用来进行分布式环境的协调，它主要解决分布式应用中经常遇到的一些数据管理问题，如：命名服务、状态同步、配置中心、集群管理等典型的分布式数据一致阅读全文

posted @ 2023-11-11 19:27 suyanhj 阅读(90) 评论(0) 推荐(0) 编辑

2023年11月6日

consul注册中心

摘要： consul 作用与zookeeper一样，提供服务注册、服务发现、配置中心每个运行consul的节点为一个agent，可以是client或server模式，每个数据中心必须拥有至少一台server来保存consul集群状态信息，建议在生产环境使用systemd启动时，需设置为Type=noti 阅读全文

posted @ 2023-11-06 18:12 suyanhj 阅读(329) 评论(0) 推荐(0) 编辑

监控方法论

摘要：监控方法论：监控系统组件：指标数据采集指标数据存储指标数据去世分析及可视化告警监控体系：系统层：系统：cpu、load、内存、swap、磁盘io、进程数、网络：网络设备、负载、延迟、丢包率中间件：消息中间件： kafka、mq web服务容器： tomcat、jetty 数据库阅读全文

posted @ 2023-11-06 18:11 suyanhj 阅读(31) 评论(0) 推荐(0) 编辑

prometheus数据存储

摘要： prometheus数据存储：本地存储：默认使用本地tsdb存数据，每个采样数据仅占：3.5b左右百万条时间序列，30s的间隔，保留60天，占用200多G空间 tsdb路径： /data/ 数据写入过程中，先把数据写入到wal日志（用于数据恢复），并放在内存，2小时后将内存数据存到新的bloc 阅读全文

posted @ 2023-11-06 18:10 suyanhj 阅读(1150) 评论(0) 推荐(0) 编辑

pushgateway

摘要： pushgateway 采用被动推送的方式，需要自定义监控脚本，把需要监控的数据主动推给pushgateway的api，然后pushgateway等待普罗米修斯抓取数据默认数据存储在内存中普罗米修斯配置pushgateway与普通exporter一样 github: https://github 阅读全文

posted @ 2023-11-06 18:10 suyanhj 阅读(49) 评论(0) 推荐(0) 编辑

prometheus联邦集群

摘要： prometheus联邦集群在多个数据中心部署prometheus server，最后在一个中心prometheus server进行数据聚合（只用抓取3个prometheus server的数据即可）在大规模集群中，可用于指标分类，中心prometheus配置： scrape_configs 阅读全文

posted @ 2023-11-06 18:09 suyanhj 阅读(344) 评论(0) 推荐(0) 编辑

重新打标

摘要：标签重新打标：指标抓取的生命周期：服务发现：每个scrape_interval期间，prom会检查执行的job 会根据job指定的发现配置生成target列表(服务发现过程) 服务发现会返回一个Target列表，其中包含一组称为元数据的标签，这些标签都以“\_\__meta__”为前缀(每个服阅读全文

posted @ 2023-11-06 18:09 suyanhj 阅读(28) 评论(0) 推荐(0) 编辑

服务发现

摘要：服务发现：小型环境静态配置即可，大型环境必须使用服务发现官方文档： https://prometheus.io/docs/prometheus/latest/configuration/configuration/ 基于文件的服务发现：仅优先于静态配置的服务发现 prom定期从文件中加载tar 阅读全文

posted @ 2023-11-06 18:09 suyanhj 阅读(8) 评论(0) 推荐(0) 编辑

公告