摘要： ### 背景 前面我们探讨了使用redis stream做消息中间件的可行性,结论是在保证数据并发量不大, 数据敏感性不高, 且不方便使用重量级MQ,kafka的情况下可以使用. 探讨过程:https://www.cnblogs.com/qds1401744017/p/17598613.html # 阅读全文

摘要： #### 背景 对于消息数量很少的场景, 尝试使用redis stream来做消息队列. #### 为什么要用redis的stream, redis的其他数据结构可以吗? 参考文章1:https://www.zhihu.com/question/43688764?sort=created 参考文章2 阅读全文

摘要： #### 背景 使用tdengine时遇到一个情况,应用程序使用连接池将接收到的实时数据插入TD时, 会出现获取不到连接的报错. #### 重现 起一个模拟程序,发送100条数据到应用程序, 应用程序从批量插入改为逐条插入td, 重现出报错: ```java org.springframework. 阅读全文

摘要： #### 背景 有一次, 需要远程连接windows10家庭版的虚拟机, 但是发现家庭版是不支持远程连接的. ![image](https://img2023.cnblogs.com/blog/1371029/202307/1371029-20230731140419958-1007564587.p 阅读全文

摘要： ### 背景 mysql有一个表因为数据量太大,单表查询很慢,决定做表分区. 但是做表分区的时候, 分区键如果不是主键的话, 要把原来的主键(id)取消重新将原来的主键(id)和分区键绑定做一个复合主键. 但是原来的主键(id)是自增的, 取消它需要先取消自增. 然后复合主键建立之后再把id设为自增 阅读全文

摘要： ### 背景 我们mysql是单机, 其中有几个表体积会很大, 需要做分表来增加查询效率. 我们的数据是连续不断入库的,查询条件是一个批次一个批次的查,也可以看做是按时间段查询. ### 思路 1. mysql事件Event:到一定时间把原表改名, 加一个后缀,比如user表改为user_1 `RE 阅读全文

摘要： ### 背景 最近有个需求让我把原本部署在`linux系统`上的`数据库`和对数据库进行CRUD的`java程序`部署到windows系统上来. ### 问题 `mysql`和`tdengine`这两个数据库有windows版本, 直接安装就行了, 并且也已经自动注册成服务, 可以自己设置开机自动启 阅读全文

摘要： 背景 简化的系统拓扑图如下 问题 大量增加了传感器数量后,发现数据仓库里的数据入库有延迟了, 于是使用kafka自带的bin目录下的kafka-consumer工具查看一下消费者消息积压数量 [pmish@localhost bin]$ ./kafka-consumer-groups.sh --bo 阅读全文

摘要： 1. 介绍 问题分析: 随着互联网以及移动互联网的发展，应用系统的数据量也是成指数式增长，若采用单数据库进行数据存储，存在以下性能瓶颈： IO瓶颈：热点数据太多，数据库缓存不足，产生大量磁盘IO，效率较低。请求数据太多，带宽不够，网络IO瓶颈。 CPU瓶颈：排序、分组、连接查询、聚合统计等SQL会耗 阅读全文

摘要： ##1.概述 主从复制是指将主数据库的DDL和DML操作通过二进制日志传到从库服务器中，然后在从库上对这些日志重新执行（也叫重做），从而使得从库和主库的数据保持同步。 MySQL支持一台主库同时向多台从库进行复制，从库同时也可以作为其他从服务器的主库，实现链状复制。 MySQL复制的有点主要包含以下 阅读全文