曹伟雄

摘要： 1.安装部署Prometheus 安装参考：https://www.cnblogs.com/caoweixiong/p/12111035.html 配置prometheus.yml，添加canal的job，示例： - job_name: 'canal' static_configs: - targe 阅读全文

摘要： 1.下载安装 为您的平台下载最新版本的grafana，然后将其解压缩： tar -zxvf grafana-6.5.2.linux-amd64.tar.gzcd grafana-6.5.2/ 注：以上示例采用的是：二进制方式安装 2.配置 要配置 Grafana，需要将名为 custom.ini 的 阅读全文

摘要： 1.下载安装 为您的平台下载最新版本的prometheus，然后将其解压缩： tar xvfz prometheus-*.tar.gz cd prometheus-* 官方guide 2.配置 根目录下的prometheus.yml文件（默认配置）： # my global config globa 阅读全文

摘要： 副本定义 Kafka 是有主题概念的，而每个主题又进一步划分成若干个分区。副本的概念实际上是在分区层级下定义的，每个分区配置有若干个副本。 所谓副本（Replica），本质就是一个只能追加写消息的提交日志。根据 Kafka 副本机制的定义，同一个分区下的所有副本保存有相同的消息序列，这些副本分散保存 阅读全文

摘要： 背景 因磁盘满了，导致kafka所有的服务器全部宕机了，然后重启kafka集群，服务是启动成功了，但有一些报错： broker1： broker2： broker3：一直在刷以下错误信息 虽然报了这些错，但kafka正常启动了，通过命令测试了集群能正常生产和消费消息，但是看kafka-manager 阅读全文

摘要： 前言 一条数据是如何落地到对应的shard上的？ 当索引一个文档的时候，文档会被存储到一个主分片中。 Elasticsearch 如何知道一个文档应该存放到哪个分片中呢？ 首先这肯定不会是随机的，否则将来要获取文档的时候我们就不知道从何处寻找了。实际上，这个过程是根据下面这个算法决定的： shard 阅读全文

摘要： 如何建模 mapping 设计非常重要，需要从两个维度进行考虑： 功能：搜索、排序、聚合 性能：存储的开锁、内存的开销、搜索的性能 mapping 注意事项： 加入新字段很容易（必要时需要 update_by_query） 更新删除字段不允许（需要 reindex 重建数据） 最佳实践 1、不允许自 阅读全文

摘要： 简介 curator 是一个官方的，可以管理elasticsearch索引的工具，可以实现创建，删除，段合并等等操作。详见官方文档 功能 curator允许对索引和快照执行许多不同的操作，包括： 从别名添加或删除索引（或两者！） 更改分片路由分配 关闭索引 创建索引 删除索引 删除快照 打开被关闭的 阅读全文

摘要： linux内置的cron进程能帮我们实现这些需求，cron搭配shell脚本，非常复杂的指令也没有问题。 cron介绍 我们经常使用的是crontab命令是cron table的简写，它是cron的配置文件，也可以叫它作业列表，我们可以在以下文件夹内找到相关配置文件。 /var/spool/cron 阅读全文

摘要： 前言 在使用elk的时候，由于数据量较大，时间比较久远的数据就没有那么有价值了，因此就需要定期的清除这些历史数据，所以我们在设置es的索引策略的时候就可以进行数据的冷热策略设置。本文介绍 ElasticSearch 7.14 版本的生命周期： Hot：正在积极更新和查询索引。 Warm：索引不再更新 阅读全文