随笔分类 - ClickHouse
摘要:clichouse会对数据分区存放,可以提高效率,便于维护磁盘空间。 clickhouse不建议按照条件查询使用delete删除数据。 clickhouse提供了ttl,可以设定数据的生命周期,到了时间,会自动删除数据。 如需维护磁盘使用,clickhouse提供了操作分区的功能。 设定数据库表分区
阅读全文
摘要:我们知道数据块中的view只是一个逻辑概念,为了便于写查询语句,把底层各个表的结构和字段隐藏,创建一个新的虚拟表,类似于查询语句,在这个结果上再编写新的语句。 clickhouse提供了一个新的功能,materialized view,可以把一个view的数据存放到磁盘,实例化,而不仅仅是虚拟的逻辑
阅读全文
摘要:在操作clickhouse的时候,会有一些日志被记录下来,日志占用的空间也不少。我们可以设置一下 查询日志 query_log 调用查询语句时,会记录日志,记录sql语句,使用的数据库和表,占用的内存等。 https://clickhouse.com/docs/en/operations/syste
阅读全文
摘要:[ 169492 ] {} <Error> Application: DB::Exception: Suspiciously many (1416 parts, 0.00 B in total) broken parts to remove while maximum allowed broken
阅读全文
摘要:clickhouse有几种安装方式,安装包,官方二进制文件,编译 安装包 下载安装包,用对应的命令安装即可 官方二进制文件 如果不支持rpm或者deb的包,可以下载官方的tgz压缩包,下载的时候有几个选项,官方有介绍: clickhouse-common-static — ClickHouse编译的
阅读全文
摘要:适用场景 大量数据写入和查询,但是修改比较少。对事务不敏感。偶尔数据丢失不敏感。 很多物联网类的应用场景都是如此。 统计城市的气温,一个城市一千个监测点,一分钟统计一次,一千个城市每分钟产生一百万数据,一天就是十四亿条数据。 统计物流车辆位置信息 统计用户网络行为 这些都有着明显的特点,数据量大,大
阅读全文