代码改变世界

随笔档案-2024年10月

MySQL从节点异常宕机重启后遇到主键冲突

2024-10-31 13:17 by abce, 88 阅读, 收藏, 编辑
摘要: 一台虚机在迁移过程中遇到点问题,然后运维做了重启的操作。重启后,发现该虚机中的 mysql 从库与主库的同步失败了。登录后查看,发现 sql thread 停止运行了: mysql> show slave status\G *************************** 1. row *** 阅读全文

MySQL的临时表空间

2024-10-30 11:24 by abce, 99 阅读, 收藏, 编辑
摘要: InnoDB使用会话临时表空间和全局临时表空间。 会话临时表空间 会话临时表空间用于存储用户创建的临时表,以及在InnoDB被配置为磁盘上内部临时表的存储引擎时由优化器创建的内部临时表。从 MySQL 8.0.16 开始,磁盘上内部临时表使用的存储引擎是InnoDB。(以前,存储引擎由interna 阅读全文

列存储与宽列存储的区别

2024-10-23 17:52 by abce, 218 阅读, 收藏, 编辑
摘要: 列存储(ColumnStores)和宽列存储(Wide ColumnStores)是两种不同类型的数据存储和查询优化技术,主要用于为大数据和分析设计的数据库。虽然两者都基于列式数据存储模型,但在数据组织、查询性能和使用案例方面存在显著差异。 1. 列存储(传统列式数据库) 与逐行存储数据的传统关系数 阅读全文

MongoDB 可以处理的连接数

2024-10-22 09:23 by abce, 82 阅读, 收藏, 编辑
摘要: 影响连接限制的因素 1.硬件资源: 服务器(CPU、内存)越强大,理论上可处理的连接数就越多。 2.MongoDB 版本: 不同版本的 MongoDB 可能有不同的默认值或最大连接数。 3.操作系统配置: 操作系统对文件描述符的限制会直接影响 MongoDB 可处理的最大连接数。每个连接都会使用一个 阅读全文

ClickHouse 的 Parts 和 Partitions

2024-10-16 11:07 by abce, 475 阅读, 收藏, 编辑
摘要: 在 ClickHouse 中,磁盘上存储表的部分数据的物理文件称为 "part"。"partition "是使用分区键创建的表数据的逻辑划分。分区可用于提高大型表的性能和可管理性,允许用户更有效地存储、查询和操作数据子集。 Parts 如前所述,"Parts"是磁盘上的物理文件。默认情况下,所有数据 阅读全文

诊断MongoDB慢查询的等待事件

2024-10-15 15:50 by abce, 57 阅读, 收藏, 编辑
摘要: 长时间运行的查询会严重影响数据库的性能和响应速度。排除与这些查询相关的等待事件对于识别瓶颈和优化性能至关重要。 等待事件 MongoDB 中的等待事件发生在操作等待资源可用时。这些事件可能是由于锁、CPU 竞争或 I/O 操作等各种原因造成的。以下是可能会遇到的一些常见等待事件: 1.锁等待: 当查 阅读全文

ClickHouse 的 Mutations

2024-10-15 10:45 by abce, 296 阅读, 收藏, 编辑
摘要: mutations ALTER 查询是通过一种称为 "mutations" 的机制实现的,其中最常见的是 ALTER TABLE ... DELETE 和 ALTER TABLE ... UPDATE。它们是在后台异步进行的,类似于 MergeTree 表中的合并。 对于 *MergeTree 表, 阅读全文

MongoDB新的均衡策略和自动合并

2024-10-11 12:18 by abce, 68 阅读, 收藏, 编辑
摘要: 均衡器的用途 均衡器是一个后台线程,运行于配置服务器(config server)副本集的主节点。它定期检查分片中块(chunks)和数据的分布情况。如果达到某些迁移阈值,均衡器就会决定将块从一个分片迁移到另一个分片。其主要目标是在所有分片中拥有大致相同的数据量。 在繁忙的集群中,迁移的成本可能很高 阅读全文
点击右上角即可分享
微信分享提示