渐逝的星光

摘要： 概述 首先用一张图表述： 优化成本：硬件>系统配置>数据库表结构>SQL及索引。 优化效果：硬件<系统配置<数据库表结构<SQL及索引。 对于MySQL层优化一般遵从五个原则： 减少数据访问：设置合理的字段类型，启用压缩，通过索引访问等减少磁盘IO 返回更少的数据：只返回需要的字段和数据分页处理 减 阅读全文

摘要： 缓冲要写入 RAM 的数据，定期将其刷新到另一个表。在读操作期间，同时从缓冲区和另一个表中读取数据。 Buffer(database, table, num_layers, min_time, max_time, min_rows, max_rows, min_bytes, max_bytes) 表 阅读全文

摘要： FINAL关键字 ClickHouse会在返回结果之前完全合并数据，从而执行给定表引擎合并期间发生的所有数据转换。 注意： 1.select语句+final的话，会对表的order字段进行排序去重。注意主键要加上分区字段（虽然跨分区不会去重，但select会合并结果）（试验过）。 2.在大多数情况下 阅读全文

摘要： 一、概述 分布式存储要保证高可用，就必须有数据冗余——即副本（replica）。ClickHouse依靠ReplicatedMergeTree引擎族与ZooKeeper实现了复制表机制，成为其高可用的基础。 在实际操作中，为了最大化性能与稳定性，分片和副本几乎总是一同使用。 仅 MergeTree 阅读全文

摘要： 具有分布式引擎的表不存储自己的任何数据，但允许在多个服务器上进行分布式查询处理。读取是自动并行的。在读取期间，将使用远程服务器上的表索引（如果有的话）。 一、创建表 CREATE TABLE [IF NOT EXISTS] [db.]table_name [ON CLUSTER cluster] ( 阅读全文

摘要： Clickhouse是个分析型数据库。这种场景下，数据一般是不变的，因此Clickhouse对update、delete的支持是比较弱的，实际上并不支持标准的update、delete操作。 1.Clickhouse通过alter方式实现更新、删除，它把update、delete操作叫做mutati 阅读全文

摘要： 一.概述 为了能够增强数据的实时性，利用 binlog 将数据写入到 ClickHouse。然而为了能够监听 binlog 事件，需要用到类似 canal 这样的第三 方中间件，这无疑增加了系统的复杂度。 ClickHouse 20.8.2.3 版本新增加了 MaterializeMySQL 的 d 阅读全文

摘要： 一、前言 在应用开发的早期，数据量少，开发人员开发功能时更重视功能上的实现，随着生产数据的增长，很多SQL语句开始暴露出性能问题，对生产的影响也越来越大，有时可能这些有问题的SQL就是整个系统性能的瓶颈。 二、SQL优化一般步骤 1、通过慢查日志等定位那些执行效率较低的SQL语句 2、explain 阅读全文

摘要： 以(CounterID, Date)主键为例。在这种情况下，排序和索引可以说明如下： Whole data: [ ] CounterID: [aaaaaaaaaaaaaaaaaabbbbcdeeeeeeeeeeeeefgggggggghhhhhhhhhiiiiiiiiikllllllll] Date 阅读全文

摘要： 表由按主键排序的数据部分组成 1.将数据插入表中时，会创建单独的数据部分，并且每个部分都按主键按字典顺序排序。例如，如果主键是(CounterID, Date)，则部分中的数据按 排序CounterID，每个中的数据按CounterID排序Date。 2.属于不同分区的数据被分成不同的部分。Clic 阅读全文