摘要: 前言: 无论使用哪种存储软件,定期的备份数据都是重中之重,在使用ElasticSearch的时候,随着数据日益积累,存放es数据的磁盘空间也捉襟见肘, 此时对于业务功能使用不到的索引数据,又不能直接删除,将它迁移到线下数据盘存储就变得十分必要。 下面就记录一下在docker中部署的单节点以月份索引的 阅读全文
posted @ 2021-08-13 10:00 让我发会呆 阅读(1946) 评论(1) 推荐(1) 编辑
摘要: 一:日志如何监控 在上一篇博客Grafana、Prometheus-监控平台中,简单了解了Grafana与Prometheus对项目做特定的监控打点,可视化的配置操作。 但是对于没有设置监控或者不容易进行监控的遗留应用程序,有时重写、修补或重构该应用程序以暴露内部状态的成本绝对不是一项有利的工程投资 阅读全文
posted @ 2021-07-21 10:02 让我发会呆 阅读(5254) 评论(1) 推荐(0) 编辑
摘要: 一:Grafana 简介与部署 安利一个生产环境正在使用的监控和告警平台:grafana,它是一个开源的可对指标和日志进行查询、可视化和告警的平台。 docker 安装官方文档:https://grafana.com/docs/grafana/latest/administration/config 阅读全文
posted @ 2021-07-20 16:05 让我发会呆 阅读(758) 评论(0) 推荐(0) 编辑
摘要: 一:问题的引出与复现 在一个风和日丽的工作日,公司运营发现系统的任务数据没有推送执行,整个流程因此停住了。我立马远程登陆服务器,查看日志,好家伙,系统在疯狂的打印相同的一段日志:c.d.d.j.i.e.LeaderElectionService [traceId=] - Elastic job: l 阅读全文
posted @ 2021-06-08 16:44 让我发会呆 阅读(1381) 评论(0) 推荐(0) 编辑
摘要: 一:可视化工具 生产环境上已经装了常用的基建,比如Kafka和ES等,但是这些基建的日常监控与运行情况却不直观,因此我们需要一些开源的可视化工具,方便我们去管理, 比如 kafka-manager 和 cerebro 二:kafka-manager # kafka manager docker安装 阅读全文
posted @ 2021-03-16 13:53 让我发会呆 阅读(334) 评论(0) 推荐(0) 编辑
摘要: 一:选用ES原因 公司项目有些mysql的表数据已经超过5百万了,各种业务的查询入库压力已经凸显出来,初步打算将一个月前的数据迁移到ES中,mysql的老数据就物理删除掉。 首先是ES使用起来比较方便,对于项目初期存储一些不能删除但又一般使用不到的数据比较合适, 还有就是ES的存储采用索引分片式,使 阅读全文
posted @ 2021-02-25 11:42 让我发会呆 阅读(687) 评论(0) 推荐(0) 编辑
摘要: 一:Mysql基于Docker的主从复制搭建 1:安装docker,安装步骤可见我之前的文章:Docker-常用基建的安装与部署 docker ps 命令查询当前的容器状态,这就是我们最后要达到的效果。 2:首先拉取mysql官方镜像 bash> docker pull mysql:5.7 演示环境 阅读全文
posted @ 2021-02-07 09:28 让我发会呆 阅读(236) 评论(0) 推荐(0) 编辑
摘要: 一:申请公众号 无聊的去申请一个个人公众号,试了下微信实现自定义菜单与自定义对话的一些基本功能,如果多花点时间,金钱(= =!)还是有不少功能可以使用,还是蛮有意思的。 废话不多说,先看一下申请的流程。首先进入微信公众平台申请一个个人的订阅号,其实它自带的功能里就有自动回复的设置,不过还是试试开发接 阅读全文
posted @ 2021-01-24 16:48 让我发会呆 阅读(642) 评论(0) 推荐(0) 编辑
摘要: 一:Docker安装 1:通过yum安装docker yum -y install gcc yum -y install gcc-c++ yum remove docker \ docker-client \ docker-client-latest \ docker-common \ docker 阅读全文
posted @ 2021-01-20 15:09 让我发会呆 阅读(337) 评论(0) 推荐(0) 编辑
摘要: 看到了自己项目中使用单个redis实例实现的分布式锁,因此就把redis相关的知识点,以及Redlock等记录了下来,就有了Redis基础这篇随笔。 在理解Redlock算法时,看到了很多关于分布式系统中的一致性算法的文章,于站在巨人的肩膀上,温故而知新,今天就来做些总结整理。 一:分布式系统和一致 阅读全文
posted @ 2020-03-29 10:59 让我发会呆 阅读(2596) 评论(0) 推荐(0) 编辑