摘要：
1、概述 MySQL 的用户群体很大，为了能够增强数据的实时性，很多解决方案会利用 binlog 将数据写入到 ClickHouse。为了能够监听 binlog 事件，我们需要用到类似 canal 这样的第三方中间件，这无疑增加了系统的复杂度。ClickHouse 20.8.2.3版本新增加了 Ma 阅读全文
摘要：
ClickHouse的物化视图是一种查询结果的持久化，它确实是给我们带来了查询效率的提升。用户查起来跟表没有区别，它就是一张表，它也像是一张时刻在预计算的表，创建的过程它是用了一个特殊引擎，加上后来 as select，就是create一个table as select的写法。“查询结果集”的范围很 阅读全文
摘要：
查询CK手册发现，即便对数据一致性支持最好的Mergetree，也只是保证最终一致性： 我们在使用 ReplacingMergeTree、SummingMergeTree 这类表引擎的时候，会出现短暂数据不一致的情况。在某些对一致性非常敏感的场景，通常有以下几种解决方案。 1、准备测试表和数据 1、 阅读全文
摘要：
1、准备测试数据 #创建小表 CREATE TABLE datasets.visits_v2 ENGINE = CollapsingMergeTree(Sign) PARTITION BY toYYYYMM(StartDate) ORDER BY (CounterID, StartDate, int 阅读全文
摘要：
1、Prewhere替代where Prewhere和where语句的作用相同，用来过滤数据。不同之处在于prewhere只支持 *MergeTree 族系列引擎的表，首先会读取指定的列数据，来判断数据过滤，等待数据过滤之后再读取select 声明的列字段来补全其余属性。当查询列明显多于筛选列时使用 阅读全文
摘要：
5、聚合计算外推 聚合函数内的计算，会外推，例如： EXPLAIN SYNTAX SELECT sum(UserID * 2) FROM datasets.visits_v1; //优化后效果 SELECT sum(UserID) * 2 FROM datasets.visits_v1 6 聚合函数 阅读全文
摘要：
需求描述 需求有以下数据 create table temp_online_data ( room_id varchar(2) comment '直播间ID', anchor_id varchar(5) comment '播主ID', start_time varchar(20) comment ' 阅读全文
摘要：
ClickHouse 的 SQL 优化规则是基于RBO(Rule Based Optimization)，下面是一些优化规则细节， 1、准备测试表 1、上传官方的数据集：将visits_v1.tar和hits_v1.tar上传到虚拟机，解压到clickhouse数据路径下：将visits_v1.ta 阅读全文
摘要：
在clickhouse 20.6版本之前要查看SQL语句的执行计划需要设置日志级别为trace才能可以看到，并且只能真正执行sql，在执行日志里面查看。在20.6版本引入了原生的执行计划的语法。在20.6.3版本成为正式版本的功能。 1、基本语法 EXPLAIN [AST | SYNTAX | PL 阅读全文
摘要：
在实际应用中，我们一般都需要将数据按照某个key进行分区，然后再进行计算处理；所以最为常见的状态类型就是Keyed State。之前介绍到keyBy之后的聚合、窗口计算，算子所持有的状态，都是Keyed State。另外，我们还可以通过富函数类（Rich Function）对转换算子进行扩展、实现自 阅读全文