04 2023 档案
记一次kafka消息积压的解决
摘要:背景 简化的系统拓扑图如下 问题 大量增加了传感器数量后,发现数据仓库里的数据入库有延迟了, 于是使用kafka自带的bin目录下的kafka-consumer工具查看一下消费者消息积压数量 [pmish@localhost bin]$ ./kafka-consumer-groups.sh --bo
阅读全文
mysql运维------分库分表
摘要:1. 介绍 问题分析: 随着互联网以及移动互联网的发展,应用系统的数据量也是成指数式增长,若采用单数据库进行数据存储,存在以下性能瓶颈: IO瓶颈:热点数据太多,数据库缓存不足,产生大量磁盘IO,效率较低。请求数据太多,带宽不够,网络IO瓶颈。 CPU瓶颈:排序、分组、连接查询、聚合统计等SQL会耗
阅读全文
mysql运维------主从复制
摘要:##1.概述 主从复制是指将主数据库的DDL和DML操作通过二进制日志传到从库服务器中,然后在从库上对这些日志重新执行(也叫重做),从而使得从库和主库的数据保持同步。 MySQL支持一台主库同时向多台从库进行复制,从库同时也可以作为其他从服务器的主库,实现链状复制。 MySQL复制的有点主要包含以下
阅读全文
mysql运维-------日志
摘要:1. 错误日志 错误日志是MySQL中最重要的日志之一,它记录了当mysql启动和停止时,以及服务器在运行过程中发生任何严重错误时的相关信息。当数据库出现任何故障导致无法正常使用时,建议首先查看此日志。 该日志是默认开启的,默认放在目录/var/log/,默认的日志文件名为mysqld.log。查看
阅读全文