clickHouse中实现类似lag和lead的函数
摘要：clickhouse中的lead和lag实现有多种方法，在标准的SQL中使用的windows function即可实现。 示例数据： CREATE TABLE llexample ( g Int32, a Date ) ENGINE = Memory; INSERT INTO llexample S
阅读全文
posted @ 2023-06-30 17:48
随笔分类 - ClickHouse
clickhouse数据文件导入，导出
摘要：clickhouse数据文件导入，导出 ck数据导出到csv文件 clickhouse-client -h 172.16.xx.xxx --port 9000 -u default --password 123456 --format_csv_delimiter=$'|' --query="sele
阅读全文
posted @ 2023-02-22 18:36
即席留存、漏斗、路径等分析参考
摘要：Clickhouse(流量分析(一).漏斗分析案例) 每天数百亿用户行为数据，美团点评怎么实现秒级转化分析？（美团漏斗转化分析） clickhouse数据模型之留存分析 clickhouse数据模型之用户路径分析
阅读全文
posted @ 2023-01-28 18:21
ClickHouse 实现数组交并差计算
摘要：计算数组交集 函数：arrayIntersect(arr1,arr2,...) 功能说明：计算 arr1,arr2等数组元素交集。 返回值：交集元素子数组。 SQL 实例： SELECT arrayIntersect([1, 2, 3], [4, 5, 6]) AS noIntersect, arr
阅读全文
posted @ 2023-01-28 18:06
ClickHouse实现类似Hive的row_number() over (partition by)的方法
摘要：利用rowNumberInAllBlocks函数： hive写法： select orderid from (select orderid, row_number() over(partition by orderid order by datachange_lasttime desc) as ro
阅读全文
posted @ 2022-10-24 11:24
ClickHouse测试之mergetree中的order by字段是否符合最左原则
摘要：先简单说一下最左原则 顾名思义：1、最左优先，以最左边的为起点任何连续的索引都能匹配上。同时遇到范围查询（>，<，between，like）就会停止匹配。 2、例如：b=2如果建立（a，b）顺序的索引，是匹配不到（a，b）索引的；但如果查询条件是a=1 and b=2或者a=1（又或者是b=2 an
阅读全文
posted @ 2022-10-18 16:12
clickhouse时间日期函数
摘要：一、常用的时间戳到日期，日期到时间戳操作 SELECT toDateTime(1665936000,'Asia/Shanghai') `时间戳转为:%Y-%m-%d %H:%M:%S`, toUnixTimestamp('2022-10-17') AS `日期转为时间戳`, toDate(16659
阅读全文
posted @ 2022-10-18 14:58
数据库常见知识点总结-最左前缀匹配原则、EXPLAIN 命令详解
摘要：数据库常见知识点总结-最左前缀匹配原则、EXPLAIN 命令详解
阅读全文
posted @ 2022-10-12 16:39
clickhouse中MergeTree引擎 order by的字段是否都走索引，效率怎么样？
摘要：Clickhouse的主键索引是一个稀疏索引, 它并不存储每一个行的数据, 而是存储每个子矩阵的第一个行数据, 因此8192行数据才会有一个索引值, 索引非常小, 对应的代价就是查找时, 需要用折半查找的方式来查询具体的编号, 复杂度为log(n) 主键索引可以是组合索引, 类似于mysql的组合索
阅读全文
posted @ 2022-10-12 16:24
列式数据库管理系统——ClickHouse（version：22.7.1 环境部署）
摘要：参考： 列式数据库管理系统——ClickHouse（version：22.7.1 环境部署）
阅读全文
posted @ 2022-10-12 14:57
ClickHouse 中最重要的表引擎：MergeTree 的深度原理解析
摘要：ClickHouse 中最重要的表引擎：MergeTree 的深度原理解析
阅读全文
posted @ 2022-09-09 15:16
clickhouse分区设计操作以及优化
摘要：clickhouse分区的作用； 分区会不会提高查询速度也要看查询条件里面带什么。如果查询条件就是分区的等值操作，那优化器在生成查询操作的时候肯定能够做到partition elimination，扫描的io块少了查询速度肯定也能提高。如果查询条件里面没有分区等值查询条件，那么再怎么分区，都是扫描所
阅读全文
posted @ 2022-09-09 14:30
Clickhouse join优化之分桶优化
摘要：1、背景 ck在单表查询能够做到极致，但是在join上性能就相对尬尴, A JOIN B 特别是当两张表的数据都不小的时候，经常就会有内存溢出，超时等等情况 特别是当AB都为分布表的时候 就拿常用的事件表（events_all）和用户表（users_all）做JOIN为例，都是分布表； 以下为cli
阅读全文
posted @ 2022-09-09 11:22
Clickhouse执行报错（Double-distributed IN/JOIN subqueries is denied (distributed_product_mode = ‘deny‘)）
摘要：错误示例： DB::Exception: Double-distributed IN/JOIN subqueries is denied (distributed_product_mode = 'deny'). You may rewrite query to use local tables in
阅读全文
posted @ 2022-09-07 15:23
clickhouse实现 lag/lead
摘要：clickhouse中的lead和lag实现有多种方法，在标准的SQL中使用的windows function即可实现。 示例数据： CREATE TABLE llexample ( g Int32, a Date ) ENGINE = Memory; INSERT INTO llexample S
阅读全文
posted @ 2022-09-04 23:59
clickhouse left join产生的空值或者默认值问题解析
摘要：建表语句： CREATE TABLE default.mt_table ( `date` Date, `id` UInt8, `name` String ) ENGINE = MergeTree(date, (id, name), 8192) 插入数据： insert into mt_table (
阅读全文
posted @ 2022-08-03 15:33
clickhosue 分布式表创建示例
摘要：示例： create table test.test_local on cluster cluster_3shards_2replicas( tracker_channel String, campaign String, os String, state String, install_adid
阅读全文
posted @ 2022-07-22 19:29
clickhouse为啥快
摘要：ClickHouse在计算层做了⾮常细致的⼯作，竭尽所能榨⼲硬件能⼒，提升查询速度。它实现了单机多核并⾏、分布式计算、向量化执⾏与SIMD指令、代码⽣成等多种重要技术。 一：列式存储 ①首先clickhouse采用列式存储，相对与行式存储，优势有对列的聚合、计数、求和优于行式存储。（行式存储针对某个
阅读全文
posted @ 2022-06-14 18:16
ClickHouse 命令行客户端详解
摘要：参考官网： https://clickhouse.tech/docs/zh/interfaces/cli/
阅读全文
posted @ 2021-07-07 17:44
