摘要：
1.步骤 kafka作为消息队列通常用来收集各个服务产生的数据，而下游各种数据服务订阅消费数据，本文通过使用clickhouse 自带的kafka 引擎，来同步消费数据。 同步步骤： kafka中创建topic，创建消费者并消费该topic（查看消费情况） 建立目标表(通常是MergeTree引擎系 阅读全文
摘要：
一、SummingMergeTree 1.SummingMergeTree介绍 求和引擎继承自 MergeTree。区别在于，当合并 SummingMergeTree 表的数据片段时，ClickHouse 会把所有具有相同主键的行合并为一行，该行包含了被合并的行中具有数值数据类型的列的汇总值。如果主 阅读全文
摘要：
Clickhouse分布式查询IN/JOIN与GLOABL IN GLOABL JOIN的区别 1）当使用常规IN时，查询被发送到远程服务器，并且它们中的每个服务器都在运行子查询 IN 或 JOIN 条款，除非每个远程服务器都存有全部数据，否则会造成数据不准确的情况 2）使用 GLOBAL IN / 阅读全文
摘要：
函数 语法argMin(arg，val) 计算最小值的arg值。如果val的最小值有几个不同的arg值，则遇到的第一个值是输出。argMax(arg，val） 计算最大值的参数值。如果存在多个不同的arg值来表示val的最大值，则遇到的第一个值是输出。argMin() 与argMax() 其实是相反 阅读全文
摘要：
官网描述：MySQL引擎用于将远程的MySQL服务器中的表映射到ClickHouse中，并允许您对表进行insert和select查询，以方便您在ClickHouse与MySQL之间进行数据交换。MySQL数据库引擎会将对其的查询转换为MySQL语法并发送到MySQL服务器中，因此您可以执行诸如sh 阅读全文
摘要：
什么是TTL？ TTL的意思是Time To Live表示数据的存活时间。由于数据的价值会根据保存的时间成反比，出于存储成本的考虑通常只会保留近一年的数据。而在MergeTree （合并树）引擎中，可以通过设置TTL来轻松管理数据的存活时间，使数据的价值最大化。当然数仓的数据是不会删除的，不过会部分 阅读全文
摘要：
1.建表时的空值问题如果我们建表时，不特殊说明空值，比如： CREATE TABLE test.table1( id String, name String ) ENGINE = MergeTree PARTITION BY id ORDER BY id SETTINGS index_granula 阅读全文
摘要：
一、异常 1）DB::Exception: Nested type Array(String) cannot be inside Nullable type (version 20.4.6.53 (official build))原因：字段类型是Nullable(String)，在使用一些字符串函数 阅读全文
摘要：
一、优点： 1.为了高效的使用CPU，数据不仅仅按列存储，同时还按向量进行处理； 2.数据压缩空间大，减少IO；处理单查询高吞吐量每台服务器每秒最多数十亿行； 3.索引非B树结构，不需要满足最左原则；只要过滤条件在索引列中包含即可；即使在使用的数据不在索引中，由于各种并行处理机制ClickHouse 阅读全文
摘要：
IPv6背景介绍 目前被广泛使用的IPv4，它的最大问题是网络地址资源有限。IPv4仅有32二进制位，满打满算也仅有不到43亿个IP地址，已经完全不能满足目前需求。IPv6有128二进制位，地址数量非常庞大。目前主流操作系统早已支持IPv6，Google、Facebook和Yahoo等网站也早已支持 阅读全文