ClickHouse

1.简介

ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。
使用SIMD高效指令集，向量化执行引擎，列存储数据高效压缩

1.1 OLAP

核心A：在线实时分析
类型：关系型，多维，混合，空间。ck是关系型
基本分析操作：

• 上卷RollUp: 相关数据聚合到一个变量来减少纬度
• 下钻DrillDown：分离信息获得对收集的数据的细粒度洞察
• 切片Slicing: 指定纬度后，观察剩余纬度的测度变化
• 切块Dicing: 旋转数据轴来汇总信息

1.2 OLTP

核心T：事务

2.特性

2.1 深度列存储

• 面向行存储：查询时需要全部加载到内存可能会oom
• 面向列：统计分析时大大减少数据扫描，且压缩率更优

2.2 向量化查询执行引擎

将数据转化为向量的计算
VectorWise方法：将压缩的列数据整理成数据向量，用cpu的simd技术每次处理一批向量数据

2.3 数据压缩

数据量小，读取时间少
压缩算法：LZ4速度快，压缩率低。ZSTD：压缩率高，速度慢

2.4 使用磁盘

2.5 支持SQL

不支持相关子查询（依赖父查询）和窗口函数

2.6 实时数据更新

物理表以增量连续IO，有序方式存储在MergeTree表引擎中

2.7 稀疏索引