摘要: 本文主要介绍如何通过Spark程序写入数据到Clickhouse中。 操作步骤 准备Spark程序目录结构。 find . . ./build.sbt ./src ./src/main ./src/main/scala ./src/main/scala/com ./src/main/scala/co 阅读全文
posted @ 2021-05-27 14:09 jason_wei 阅读(1381) 评论(0) 推荐(0) 编辑
摘要: 操作步骤 在ClickHouse集群中新建Kafka消费表。 CREATE TABLE default.kafka_src_table ON CLUSTER default ( //定义表结构的字段 id Int32, age Int32, msg String ) ENGINE = Kafka() 阅读全文
posted @ 2021-05-27 14:07 jason_wei 阅读(1132) 评论(0) 推荐(0) 编辑
摘要: 本节介绍如何从阿里云RDS MySQL中导入数据到ClickHouse。 操作步骤 依据MySQL表结构在ClickHouse中进行建表操作。 MySQL中数据类型与ClickHouse类型映射关系如下表。 MySQLClickHouse UNSIGNED TINYINT UInt8 TINYINT 阅读全文
posted @ 2021-05-27 13:59 jason_wei 阅读(676) 评论(0) 推荐(0) 编辑
摘要: 本节介绍如何通过官方客户端clickhouse-client从本地文件中导入数据。 操作步骤 根据ClickHouse版本号、操作系统类型,下载clickhouse-client客户端程序。 下载地址如下表所示。 操作系统ClickHouse版本号下载链接 Linux OS 19.15.2.2 单击 阅读全文
posted @ 2021-05-27 13:57 jason_wei 阅读(1197) 评论(0) 推荐(0) 编辑
摘要: 本文指导您如何使用MaterializedMySQL在ClickHouse与MySQL之间进行数据交换。 概述 为了强化实时数仓的能力,ClickHouse推出了MaterializedMySQL数据库引擎,用于将MySQL服务器中的表映射到ClickHouse中,将ClickHouse服务看作My 阅读全文
posted @ 2021-05-27 13:54 jason_wei 阅读(1157) 评论(0) 推荐(0) 编辑
摘要: 本文介绍了ClickHouse中表引擎的特点,以及常用表引擎的功能。 概述 表引擎即表的类型,在ClickHouse中的作用十分关键,直接决定了数据如何存储和读取、是否支持并发读写、是否支持索引、支持的查询种类、是否支持主备复制等。 ClickHouse提供了多种表引擎,用途广泛。分为MergeTr 阅读全文
posted @ 2021-05-27 13:48 jason_wei 阅读(412) 评论(0) 推荐(0) 编辑
摘要: 通过官方客户端导入数据 本部分将结合开源数据集,介绍通过官方客户端clickhouse-client导入数据并查询。 下载数据集。单击 下载链接下载开源ontime数据集。 在ClickHouse中建表: $ ./clickhouse-client --multiline --host=<host> 阅读全文
posted @ 2021-05-27 13:45 jason_wei 阅读(773) 评论(0) 推荐(0) 编辑
摘要: 查询磁盘信息 开通冷热数据分层存储功能后,通过以下查询可以查看热数据盘、冷数据盘信息。 select * from system.disks; 示例返回结果如下: ┌─name──────┬─path───────────────────────────────────┬───────────fre 阅读全文
posted @ 2021-05-27 13:39 jason_wei 阅读(1073) 评论(0) 推荐(0) 编辑
摘要: 基本语法 SELECT语句基本格式如下: SELECT [DISTINCT] expr_list [FROM [db.]table | (subquery) | table_function] [FINAL] [SAMPLE sample_coeff] [ARRAY JOIN ...] [GLOBA 阅读全文
posted @ 2021-05-27 13:37 jason_wei 阅读(504) 评论(0) 推荐(0) 编辑
摘要: 基本语法 INSERT INTO 语句基本格式如下: INSERT INTO [db.]table [(c1, c2, c3)] VALUES (v11, v12, v13), (v21, v22, v23), ... 对于存在于表结构中但不存在于插入列表中的列,它们将会按照如下方式填充数据: 如果 阅读全文
posted @ 2021-05-27 13:35 jason_wei 阅读(2588) 评论(0) 推荐(0) 编辑
摘要: 创建本地表 建表语句基本语法如下: CREATE TABLE [IF NOT EXISTS] [db.]table_name ON CLUSTER cluster ( name1 [type1] [DEFAULT|MATERIALIZED|ALIAS expr1], name2 [type2] [D 阅读全文
posted @ 2021-05-27 12:02 jason_wei 阅读(15778) 评论(0) 推荐(0) 编辑
摘要: ClickHouse集群(Cluster) 在物理构成上,ClickHouse集群是由多个ClickHouse server实例组成的分布式数据库。这些ClickHouse server根据购买规格的不同而可能包含1个或多个副本(Replica)、1个或多个分片(Shard)。在逻辑构成上,一个Cl 阅读全文
posted @ 2021-05-27 11:18 jason_wei 阅读(429) 评论(0) 推荐(0) 编辑