随笔分类 -  ClickHouse

摘要:Oracle、MySQL、ClickHouse的通用AES256加解密如何实现? 前段时间研究了加密算法aes,写了个文档,分享到博客上来。 防。 1 说明 应XXX安全生产需求,对目标库目标表业务字段敏感信息进行加密密文存放,查询时通过解密得到明文进行数据使用,要求使用AES256。 目前公司所使 阅读全文
posted @ 2024-10-30 15:55 PiscesCanon 阅读(184) 评论(2) 推荐(1) 编辑
摘要:ClickHouse安装登录warning处理记录 政务云的麒麟系统,ARM架构。 目前只能安装到23.4.1.1943版本,再新的版本会因为cpu架构太老无法安装。 安装23.4.1.1943版本登录也有如下warning。 [root@host-192-168-3-4 ~]# clickhous 阅读全文
posted @ 2024-01-11 15:57 PiscesCanon 阅读(244) 评论(0) 推荐(0) 编辑
摘要:ClickHouse中select final和optimize table final的区别 使用 OPTIMIZE TABLE FINAL 该语句会对表的数据部分进行计划外的合并,通常不建议使用。见官档:传送门 而在select中当 FINAL 被指定,ClickHouse会在返回结果之前完全合 阅读全文
posted @ 2023-12-13 09:52 PiscesCanon 阅读(2457) 评论(0) 推荐(0) 编辑
摘要:clickhouse-backup list警告warn BackupList bd.Walk return error: file does not exist logger=SFTP 当clickhouse-backup的默认配置文件/etc/clickhouse-backup/config.y 阅读全文
posted @ 2023-10-31 10:06 PiscesCanon 阅读(134) 评论(0) 推荐(0) 编辑
摘要:ClickHouse集群版本升级 写在前边的话 ck软件是通过RPM方式安装的,不适用通过源码安装方式进行的升级。 不通过迁移方式进行升级,而是直接在服务器上对软件做升级。 升级期间停止所有的集群中ck服务器(6个节点),预先做好测试和准备流程,升级停机时间可以甚至控制在10分钟左右。 想要零停机进 阅读全文
posted @ 2023-10-24 10:25 PiscesCanon 阅读(784) 评论(0) 推荐(0) 编辑
摘要:ClickHouse一些调优的小技巧 Q1:调试SQL时如何不返回数据结果? 结尾适用format Null即可,如: select * from table_name where id=1 format Null; Q2:默认情况下执行SQL都是尽可能的多线程以尽量使用资源,如何单线程执行SQL? 阅读全文
posted @ 2023-09-04 16:54 PiscesCanon 阅读(92) 评论(0) 推荐(0) 编辑
摘要:ClickHouse中的remote权限 REMOTE权限属于SOURCES权限之一,何为SOURCES,即数据源。 允许在 table engines 和 table functions中使用外部数据源。 SOURCES. 级别: GROUP FILE. 级别: GLOBAL URL. 级别: G 阅读全文
posted @ 2023-06-28 11:05 PiscesCanon 阅读(642) 评论(0) 推荐(0) 编辑
摘要:ClickHouse集群+ZooKeeper集群架构下的ZooKeeper集群迁移 目前测试环境的ck集群+zk集群架构如下: ClickHouse ZooKeeper 192.168.1.171 192.168.1.172 192.168.1.173 192.168.1.174 192.168.1 阅读全文
posted @ 2023-04-17 14:22 PiscesCanon 阅读(1058) 评论(0) 推荐(0) 编辑
摘要:ClickHouse合并分区后不活动分区如何立刻删除 CK中MergeTree系列分区目录合并后,会将旧的分区标记为active=0(system.parts的字段)表示不活动。 旧分区,即active=0的分区会默认保留8min,防止服务器意外关闭或宕机后下次启动,新分区(active=1)的数据 阅读全文
posted @ 2023-03-28 16:43 PiscesCanon 阅读(317) 评论(0) 推荐(0) 编辑
摘要:clickhouse-backup备份还原表需要注意的问题 通过clickhouse-bakcup备份而后还原一些对象,比如表。 还原的时候会直接将表的数据状态重置为备份时候的样子,就是备份是什么样子,还原之后就是什么样子。 (Oracle的数据泵用久了就觉得其他数据库的类型工具功能太简单了,有点不 阅读全文
posted @ 2023-03-27 17:32 PiscesCanon 阅读(328) 评论(0) 推荐(1) 编辑
摘要:ClickHouse节点扩容、往集群中添加节点 背景 最近公司ck数据量增长太快,几个T的硬盘快不够了,继续扩容。 扩容有三种方案: 1.增加ck目前数据盘的大小,由于是服务器本地硬盘而且无法对/扩容因此此种方式不考虑。 2.多路径策略:通过添加新盘符达到扩容目的,但是只对新表有用,旧表的stora 阅读全文
posted @ 2023-02-23 14:15 PiscesCanon 阅读(3577) 评论(2) 推荐(0) 编辑
摘要:ClickHouse从分布式表的子查询中报表不存在问题看分布式表查询流程 背景 有SQL如下执行报错(其中default.zkm表是分布式表,default.notdistribute表是普通的MergeTree引擎表): CK01 :) select * from default.zkm wher 阅读全文
posted @ 2023-02-13 15:42 PiscesCanon 阅读(829) 评论(0) 推荐(0) 编辑
摘要:《ClickHouse原理解析与应用实践》关于P239[分片规则]错误的地方 快过年了,坚守到最后一天。 刚好开发有新的想法,需要用到ReplacingMergeTree引擎实现去重或删除数据功能实现不匹配。 但是对于分布式表来说,数据需要落到同个分区同个分片是去重的前提。 于是研究怎么落到同个分片 阅读全文
posted @ 2023-01-18 17:04 PiscesCanon 阅读(63) 评论(0) 推荐(0) 编辑
摘要:ClickHouse关于show create table ck中当你执行show create table查看表元数据的时候,实际上来源是<clickhouse-path>/metadata/<databaseName>/<table_name>.sql 当我把该文件mv掉的时候: [root@d 阅读全文
posted @ 2023-01-11 16:21 PiscesCanon 阅读(541) 评论(0) 推荐(0) 编辑
摘要:ClickHouse如何删除超过50G的大表 默认ck不给删除超过50G的表 文件/etc/clickhouse-server/config.xml里边有参数max_table_size_to_drop控制“50GB”这个阈值,并给了说明处理: <!-- Protection from accide 阅读全文
posted @ 2023-01-10 17:37 PiscesCanon 阅读(3276) 评论(0) 推荐(0) 编辑
摘要:ClickHouse的官方中文文档的翻译简直离大谱 中文截图圈出来那个,看的我一脸蒙蔽,看看英文版的,原来是瞎JB翻译。 PS:我第二次再看才越觉得离谱才去看的英文版。 中文 英文 阅读全文
posted @ 2022-12-30 10:48 PiscesCanon 阅读(306) 评论(0) 推荐(0) 编辑
摘要:ClickHouse关于报错Metadata on replica is not up to date with common metadata in Zookeeper 完整的报错信息: Code: 517. DB::Exception: Received from localhost:9000. 阅读全文
posted @ 2022-12-17 16:45 PiscesCanon 阅读(1899) 评论(0) 推荐(0) 编辑
摘要:ClickHouse关于插入重复数据丢失问题 对复制表多次写入重复数据无效。 如下: dev-app76 :) select count(*) from zkm; SELECT count(*) FROM zkm Query id: 8e2bbf61-8adf-4fcc-a6d8-5601e2583 阅读全文
posted @ 2022-11-22 11:07 PiscesCanon 阅读(2342) 评论(0) 推荐(0) 编辑
摘要:ClickHouse关于参数receive_timeout探究 仿伪链接:https://www.cnblogs.com/PiscesCanon/p/16898032.html 这几天研究给这个参数搞懵逼了,完全不明意义。 一个查询可能出现好几种报错,人麻了。。 辣鸡CK只想说。 先看官网解释:ht 阅读全文
posted @ 2022-11-16 23:56 PiscesCanon 阅读(2134) 评论(0) 推荐(0) 编辑