摘要：新建的测试环境，内存比较少，登录后显示如下提示信息： # clickhouse-client ClickHouse client version 24.9.2.42 (official build). Connecting to localhost:9000 as user default. Pas 阅读全文
clickhouse 异常提示 DB::Exception: Memory limit (total) exceeded
2024-11-03 12:28 by abce, 270 阅读, 0 推荐, 收藏, 编辑MySQL从节点异常宕机重启后遇到主键冲突
2024-10-31 13:17 by abce, 35 阅读, 1 推荐, 收藏, 编辑
摘要：一台虚机在迁移过程中遇到点问题，然后运维做了重启的操作。重启后，发现该虚机中的 mysql 从库与主库的同步失败了。登录后查看，发现 sql thread 停止运行了： mysql> show slave status\G *************************** 1. row *** 阅读全文
MySQL的临时表空间
2024-10-30 11:24 by abce, 47 阅读, 0 推荐, 收藏, 编辑
摘要：InnoDB使用会话临时表空间和全局临时表空间。 会话临时表空间 会话临时表空间用于存储用户创建的临时表，以及在InnoDB被配置为磁盘上内部临时表的存储引擎时由优化器创建的内部临时表。从 MySQL 8.0.16 开始，磁盘上内部临时表使用的存储引擎是InnoDB。(以前，存储引擎由interna 阅读全文
列存储与宽列存储的区别
2024-10-23 17:52 by abce, 95 阅读, 0 推荐, 收藏, 编辑
摘要：列存储（ColumnStores）和宽列存储（Wide ColumnStores）是两种不同类型的数据存储和查询优化技术，主要用于为大数据和分析设计的数据库。虽然两者都基于列式数据存储模型，但在数据组织、查询性能和使用案例方面存在显著差异。 1. 列存储（传统列式数据库） 与逐行存储数据的传统关系数 阅读全文
MongoDB 可以处理的连接数
2024-10-22 09:23 by abce, 45 阅读, 0 推荐, 收藏, 编辑
摘要：影响连接限制的因素 1.硬件资源： 服务器（CPU、内存）越强大，理论上可处理的连接数就越多。 2.MongoDB 版本： 不同版本的 MongoDB 可能有不同的默认值或最大连接数。 3.操作系统配置： 操作系统对文件描述符的限制会直接影响 MongoDB 可处理的最大连接数。每个连接都会使用一个 阅读全文
ClickHouse 的 Parts 和 Partitions
2024-10-16 11:07 by abce, 234 阅读, 0 推荐, 收藏, 编辑
摘要：在 ClickHouse 中，磁盘上存储表的部分数据的物理文件称为 "part"。"partition "是使用分区键创建的表数据的逻辑划分。分区可用于提高大型表的性能和可管理性，允许用户更有效地存储、查询和操作数据子集。 Parts 如前所述，"Parts"是磁盘上的物理文件。默认情况下，所有数据 阅读全文
诊断MongoDB慢查询的等待事件
2024-10-15 15:50 by abce, 31 阅读, 0 推荐, 收藏, 编辑
摘要：长时间运行的查询会严重影响数据库的性能和响应速度。排除与这些查询相关的等待事件对于识别瓶颈和优化性能至关重要。 等待事件 MongoDB 中的等待事件发生在操作等待资源可用时。这些事件可能是由于锁、CPU 竞争或 I/O 操作等各种原因造成的。以下是可能会遇到的一些常见等待事件： 1.锁等待： 当查 阅读全文
ClickHouse 的 Mutations
2024-10-15 10:45 by abce, 138 阅读, 0 推荐, 收藏, 编辑
摘要：mutations ALTER 查询是通过一种称为 "mutations" 的机制实现的，其中最常见的是 ALTER TABLE ... DELETE 和 ALTER TABLE ... UPDATE。它们是在后台异步进行的，类似于 MergeTree 表中的合并。 对于 *MergeTree 表， 阅读全文
MongoDB新的均衡策略和自动合并
2024-10-11 12:18 by abce, 46 阅读, 0 推荐, 收藏, 编辑
摘要：均衡器的用途 均衡器是一个后台线程，运行于配置服务器(config server)副本集的主节点。它定期检查分片中块(chunks)和数据的分布情况。如果达到某些迁移阈值，均衡器就会决定将块从一个分片迁移到另一个分片。其主要目标是在所有分片中拥有大致相同的数据量。 在繁忙的集群中，迁移的成本可能很高 阅读全文
GridFS
2024-09-22 19:05 by abce, 121 阅读, 0 推荐, 收藏, 编辑
摘要：1.概述 如果文件大小超过 16 MB 的 BSON 文档大小限制，可以使用 GridFS来存储和检索。GridFS 不将文件存储在一个文档中，而是大型数据进行分块处理，然后将这些切分后的小文档保存在数据库中。 2.GridFS 的工作原理 GridFS 在存储桶中组织文件，存储桶是一组包含文件块和 阅读全文