摘要:
在安装/重新部署时,ClickHouse 会创建一个名为 "default" 的用户。该用户可以不受限制地访问群集中的数据,我们还可以在 users.xml 文件中提供访问管理权限(默认情况下并未打开)。 与可能需要管理员权限的多人共享默认用户的凭据并不是一个好主意。最佳做法是创建一个具有“管理员” 阅读全文
随笔分类 - clickhouse
clickhouse 异常提示 DB::Exception: Memory limit (total) exceeded
2024-11-03 12:28 by abce, 715 阅读, 收藏, 编辑
摘要:
新建的测试环境,内存比较少,登录后显示如下提示信息: # clickhouse-client ClickHouse client version 24.9.2.42 (official build). Connecting to localhost:9000 as user default. Pas 阅读全文
列存储与宽列存储的区别
2024-10-23 17:52 by abce, 219 阅读, 收藏, 编辑
摘要:
列存储(ColumnStores)和宽列存储(Wide ColumnStores)是两种不同类型的数据存储和查询优化技术,主要用于为大数据和分析设计的数据库。虽然两者都基于列式数据存储模型,但在数据组织、查询性能和使用案例方面存在显著差异。 1. 列存储(传统列式数据库) 与逐行存储数据的传统关系数 阅读全文
ClickHouse 的 Parts 和 Partitions
2024-10-16 11:07 by abce, 475 阅读, 收藏, 编辑
摘要:
在 ClickHouse 中,磁盘上存储表的部分数据的物理文件称为 "part"。"partition "是使用分区键创建的表数据的逻辑划分。分区可用于提高大型表的性能和可管理性,允许用户更有效地存储、查询和操作数据子集。 Parts 如前所述,"Parts"是磁盘上的物理文件。默认情况下,所有数据 阅读全文
ClickHouse 的 Mutations
2024-10-15 10:45 by abce, 297 阅读, 收藏, 编辑
摘要:
mutations ALTER 查询是通过一种称为 "mutations" 的机制实现的,其中最常见的是 ALTER TABLE ... DELETE 和 ALTER TABLE ... UPDATE。它们是在后台异步进行的,类似于 MergeTree 表中的合并。 对于 *MergeTree 表, 阅读全文
ClickHouse 网络端口
2024-03-20 11:36 by abce, 1415 阅读, 收藏, 编辑
摘要:
查看clickhouse默认都启用了哪些端口 # netstat -tulpn |grep LISTEN|grep click tcp 0 0 0.0.0.0:9004 0.0.0.0:* LISTEN 578/clickhouse-serv tcp 0 0 0.0.0.0:9005 0.0.0.0 阅读全文
MongoDB flow control
2023-10-27 15:56 by abce, 156 阅读, 收藏, 编辑
摘要:
从 MongoDB 4.2 开始,管理员可以限制主节点的写入速度,目的是将多数提交的延迟保持在可配置的最大值 flowControlTargetLagSeconds 以下。 默认情况下, flow control 是启用的。 启用 flow control 后,当延迟时间接近 flowControl 阅读全文
ClickHouse内存配置参数
2023-10-09 09:41 by abce, 5282 阅读, 收藏, 编辑
摘要:
1.max_memory_usage运行单个查询时使用的最大内存量。默认设置为无限(设置为 0)。该设置不考虑可用内存容量或机器上的内存总量。该限制适用于单个服务器中的单个查询。你可以使用SHOW PROCESSLIST查看每个查询的当前内存消耗。此外,每次查询的内存消耗峰值都会被跟踪并写入日志。某 阅读全文
ClickHouse选择正确的join算法
2023-10-07 14:50 by abce, 1019 阅读, 收藏, 编辑
摘要:
支持的JOIN类型 JOIN算法概览 clickhouse提供了6种JOIN算法: 1.直接连接(Direct join) 2.哈希连接(Hash join) 3.并行哈希连接(Parallel hash join) 4.优雅哈希连接(Grace hash join) 5.全排序合并连接(Full 阅读全文
clickhouse备份遇到的问题和处理
2023-08-09 09:18 by abce, 539 阅读, 收藏, 编辑
摘要:
错误一使用以下命令备份表的时候报错: ck :) backup table abce.tb to disk('backups', 'tb.zip'); BACKUP TABLE abce.tb TO disk('backups', 'tb.zip') Query id: bc17655c-cd6f- 阅读全文
ClickHouse的备份和还原
2023-08-08 14:30 by abce, 494 阅读, 收藏, 编辑
摘要:
首先要指定备份路劲。可以备份在本地,NFS挂载路径,甚至备份在S3上。配置文件: /etc/clickhouse-server/config.d/backup.xml 例如: <clickhouse> <storage_configuration> <disks> <backups> <type>l 阅读全文
ClickHouse中的Hash Join, Parallel Hash Join, Grace Hash Join
2023-08-07 17:39 by abce, 475 阅读, 收藏, 编辑
摘要:
查询管道(Query Pipeline)ClickHouse是为快速而设计。ClickHouse中的查询以高度并行的方式进行处理,尽可能地使用当前服务器上的所有必要资源,在许多情况下,硬件的利用率达到理论极限。服务器的CPU和内存越多,并行执行查询的性能就越高。 查询管道决定了每个查询执行阶段的并行 阅读全文
ClickHouse支持的Join类型
2023-07-25 20:31 by abce, 1002 阅读, 收藏, 编辑
摘要:
ClickHouse是一种面向列的开源数据库管理系统,专为需要对大量数据进行超低延迟的分析查询的场景而构建和优化。为使分析应用达到最佳性能,通常会反范式联合表。扁平的表可以避免连接,从而有助于最大限度地减少查询延迟,但代价是ETL的复杂性会增加,而这通常是可以接受的,以换取亚秒级的查询。 不过,对于 阅读全文
clickhouse的query_log
2023-05-22 15:33 by abce, 1441 阅读, 收藏, 编辑
摘要:
clickhouse的query_log包含了执行过的的查询的信息,比如开始时间、持续时长、错误信息等 开启该功能通过参数log_queries=1进行设置。一般不建议关闭该功能。 'log_queries'是用户级别的配置。打开clickhouse的users.xml文件,在profiles中加入 阅读全文
ClickHouse用户管理安全指南
2023-04-10 11:35 by abce, 443 阅读, 收藏, 编辑
摘要:
用户管理 用户信息存储在user.xml文件中。 通常建议多个用户,使用单独的XML文件进行管理。默认是位于目录/etc/clickhouse-server/users.d/下。 例如,创建如下两个用户:ClickHouse和abce <users> <clickhouse> <networks> 阅读全文
clickhouse-copier参考文档
2023-03-28 15:10 by abce, 47 阅读, 收藏, 编辑
摘要:
收集几个参考文章,用的时候可以参考: clickhouse-copier Introduction to Clickhouse-copier clickhouse-copier 20.4 - 21.6 阅读全文
clickhouse设置备份路径
2023-03-23 14:58 by abce, 380 阅读, 收藏, 编辑
摘要:
1.修改备份配置文件 # vi /etc/clickhouse-server/config.d/backup_disk.xml <clickhouse> <storage_configuration> <disks> <backups> <type>local</type> <path>/abce/ 阅读全文
Clickhouse集群扩容和收缩
2023-03-17 15:37 by abce, 768 阅读, 收藏, 编辑
摘要:
集群节点信息 节点 IP Clickhouse node1 21.198.165.19 Clickhouse node2 21.198.165.20 Clickhouse node3 21.198.165.21 集群配置信息 没有做分片,只是做了副本。 <remote_servers> <!-- 集 阅读全文
clickhouse-local
2023-01-06 16:47 by abce, 379 阅读, 收藏, 编辑
摘要:
clickhouse-local可以使你能够对本地文件执行快速处理,而无需部署和配置ClickHouse Server。可以理解成是ClickHouse服务的单机版微内核,是一个轻量级的应用程序 clickhouse-local是clickhouse-client的一部分,clickhouse-lo 阅读全文
clickhouse安装
2023-01-06 12:30 by abce, 476 阅读, 收藏, 编辑
摘要:
检查当前的CPU是否支持SSE4.2 如果不支持SSE指令集,则不能直接使用先前下载的预编译安装包,需要通过源码编译特定的版本进行安装。 grep -q sse4_2 /proc/cpuinfo && echo "SSE 4.2 supported" || echo "SSE 4.2 not sup 阅读全文