Prometheus + Grafana（四）系统监控之钉钉预警
摘要：1.配置钉钉机器人 2.配置channel 点击上图中的【Send Test】按钮测试发送钉钉消息： 3.配置预警 有几个地方需要注意一下： 目前只有Graph支持报警功能，所以我们选择Graph相关图表。 Query中，不能使用模板变量，使用了会有如下提示： 解决办法：单独配置个告警的视图，用正则
阅读全文
posted @ 2019-12-31 16:53
12 2019 档案
Prometheus + Grafana（五）系统监控之Linux服务器
摘要：前言 本文主要介绍如何使用Grafana和Prometheus以及node_exporter对Linux服务器性能进行监控。 1.安装Node_Exporter Node Exporter采用Golang编写，并且不存在任何的第三方依赖，只需要下载，解压即可运行。可以从https://prometh
阅读全文
posted @ 2019-12-30 16:17
Linux——清空文件内容
摘要：linux系统中清空文件内容有三种方法： 1、vi/vim 使用vi/vim命令打开文件后，输入"%d"清空，后保存即可。命令如下： vim file_name :%d :wq 注：当文件内容较大时，处理较慢 2、cat 使用cat命令情况，命令如下： cat /dev/null > file_na
阅读全文
posted @ 2019-12-30 15:33
Hadoop管理与监控——安全模式（safemode）
摘要：启动Hadoop和HBase之后，执行jps命令，已经看到有HMaster的进程，但是进入到监控界面查看，没有节点信息： 进入到logs目录查看master的日志：发现一直显示下面的内容： 原来是Hadoop在刚启动的时候，还处在安全模式造成的，稍等片刻会自动退出安全模式。 为什么NameNode会
阅读全文
posted @ 2019-12-30 15:25
Prometheus + Grafana（十四）系统监控之Canal
摘要：1.安装部署Prometheus 安装参考：https://www.cnblogs.com/caoweixiong/p/12111035.html 配置prometheus.yml，添加canal的job，示例： - job_name: 'canal' static_configs: - targe
阅读全文
posted @ 2019-12-28 12:17
Prometheus + Grafana（二）Grafana安装部署
摘要：1.下载安装 为您的平台下载最新版本的grafana，然后将其解压缩： tar -zxvf grafana-6.5.2.linux-amd64.tar.gzcd grafana-6.5.2/ 注：以上示例采用的是：二进制方式安装 2.配置 要配置 Grafana，需要将名为 custom.ini 的
阅读全文
posted @ 2019-12-28 11:56
Prometheus + Grafana（一）Prometheus安装部署
摘要：1.下载安装 为您的平台下载最新版本的prometheus，然后将其解压缩： tar xvfz prometheus-*.tar.gz cd prometheus-* 官方guide 2.配置 根目录下的prometheus.yml文件（默认配置）： # my global config globa
阅读全文
posted @ 2019-12-28 11:05
Kafka——副本（Replica）机制
摘要：副本定义 Kafka 是有主题概念的，而每个主题又进一步划分成若干个分区。副本的概念实际上是在分区层级下定义的，每个分区配置有若干个副本。 所谓副本（Replica），本质就是一个只能追加写消息的提交日志。根据 Kafka 副本机制的定义，同一个分区下的所有副本保存有相同的消息序列，这些副本分散保存
阅读全文
posted @ 2019-12-16 15:46
Kafka——broker宕机后无法消费问题
摘要：背景 因磁盘满了，导致kafka所有的服务器全部宕机了，然后重启kafka集群，服务是启动成功了，但有一些报错： broker1： broker2： broker3：一直在刷以下错误信息 虽然报了这些错，但kafka正常启动了，通过命令测试了集群能正常生产和消费消息，但是看kafka-manager
阅读全文
posted @ 2019-12-16 11:37
ElasticSearch——路由(_routing)机制
摘要：前言 一条数据是如何落地到对应的shard上的？ 当索引一个文档的时候，文档会被存储到一个主分片中。 Elasticsearch 如何知道一个文档应该存放到哪个分片中呢？ 首先这肯定不会是随机的，否则将来要获取文档的时候我们就不知道从何处寻找了。实际上，这个过程是根据下面这个算法决定的： shard
阅读全文
posted @ 2019-12-12 16:06
ElasticSearch——数据建模最佳实践
摘要：如何建模 mapping 设计非常重要，需要从两个维度进行考虑： 功能：搜索、排序、聚合 性能：存储的开锁、内存的开销、搜索的性能 mapping 注意事项： 加入新字段很容易（必要时需要 update_by_query） 更新删除字段不允许（需要 reindex 重建数据） 最佳实践 1、不允许自
阅读全文
posted @ 2019-12-09 12:42
ElasticSearch——Curator索引管理
摘要：简介 curator 是一个官方的，可以管理elasticsearch索引的工具，可以实现创建，删除，段合并等等操作。详见官方文档 功能 curator允许对索引和快照执行许多不同的操作，包括： 从别名添加或删除索引（或两者！） 更改分片路由分配 关闭索引 创建索引 删除索引 删除快照 打开被关闭的
阅读全文
posted @ 2019-12-06 15:24
Linux——定时任务crontab
摘要：linux内置的cron进程能帮我们实现这些需求，cron搭配shell脚本，非常复杂的指令也没有问题。 cron介绍 我们经常使用的是crontab命令是cron table的简写，它是cron的配置文件，也可以叫它作业列表，我们可以在以下文件夹内找到相关配置文件。 /var/spool/cron
阅读全文
posted @ 2019-12-06 12:37
ElasticSearch——索引生命周期管理
摘要：前言 在使用elk的时候，由于数据量较大，时间比较久远的数据就没有那么有价值了，因此就需要定期的清除这些历史数据，所以我们在设置es的索引策略的时候就可以进行数据的冷热策略设置。本文介绍 ElasticSearch 7.14 版本的生命周期： Hot：正在积极更新和查询索引。 Warm：索引不再更新
阅读全文
posted @ 2019-12-05 17:56
ElasticSearch——冷热(hot&warm)架构部署
摘要：背景 最近在做订单数据存储到ElasticSearch，考虑到数据量比较大，采用冷热架构来存储，每月建立一个新索引，数据先写入到热索引，通过工具将3个月后的索引自动迁移到冷节点上。 ElasticSearch版本：6.2.4 冷热架构 官方叫法：热暖架构——“Hot-Warm” Architectu
阅读全文
posted @ 2019-12-05 12:02
