摘要：一、DDL ### 创建库： ~~~ # 创建数据库 hadoop01 :) create database mydatabase; ### 执行完成以后，会在clickhouse的安装路径后生成mydatabase的文件目录： ~~~ # 查看库表本地存储地址 [root@hadoop01 ~]#
阅读全文
摘要：NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要：一、ReplicatedMergeTree原理 ### 数据结构 [zk: localhost:2181(CONNECTED) 8] ls /clickhouse/tables/01/replicated_sales_5 [metadata, temp, mutations, log, leader
阅读全文
摘要：一、分片 ### 修改配置参数文件： ~~~ # 修改配置文件参数 [root@hadoop01 ~]# vim /etc/clickhouse-server/config.d/metrika.xml ~~~ 下列为分片机制配置参数 <yandex> <!-- 修改remote-servers集群配
阅读全文
摘要：一、副本和分片 ### 副本 ~~~ ReplicatedMergeTree ~~~ zk: 实现多个实例之间的通信。 ### 副本的特点：作为数据副本的主要实现载体，ReplicatedMergeTree在设计上有一些显著特点: ~~~ # 依赖ZooKeeper： ~~~ 在执行INSERT和A
阅读全文
摘要：一、JDBC ### ClickHouse链接JDBC ~~~ 允许CH通过 JDBC 连接到外部数据库。 ~~~ 要实现JDBC连接，CH需要使用以后台进程运行的程序 clickhouse-jdbc-bridge。 ~~~ 该引擎支持 Nullable 数据类型。 ### 建表语法 CREATE
阅读全文
摘要：一、ClickHouse链接Kafka ### ClickHouse链接Kafka：此引擎与 Apache Kafka 结合使用。 ~~~ # Kafka 特性： ~~~ 发布或者订阅数据流。 ~~~ 容错存储机制。 ~~~ 处理流数据。 ### 链接语法格式 ~~~ # 老版格式： Kafka(k
阅读全文
摘要：一、ClickHouse链接mysql ### mysql说明 ~~~ MySQL 引擎可以对存储在远程 MySQL 服务器上的数据执行 SELECT 查询。 ### 调用格式： ~~~ MySQL('host:port', 'database', 'table', 'user', 'passwor
阅读全文
摘要：一、HDFS ### HDFS ~~~ 该引擎提供了集成 Apache Hadoop 生态系统通过允许管理数据 HDFS通过ClickHouse. ~~~ 这个引擎是相似的 到 文件和 URL 引擎，但提供Hadoop特定的功能。 ### 用途 ~~~ 该 URI 参数是HDFS中的整个文件URI。
阅读全文
摘要：NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of
阅读全文
摘要：一、MergeTree家族表引擎：CollapsingMergeTree ### CollapsingMergeTree ~~~ # 以增代删： ~~~ 说明： yandex官方给出的介绍是CollapsingMergeTree 会异步的删除（折叠） ~~~ 这些除了特定列 Sign 有 1 和 -
阅读全文
摘要：一、MergeTree家族表引擎：AggregateMergeTree ### AggregateMergeTree ~~~ 说明： 该引擎继承自 MergeTree，并改变了数据片段的合并逻辑。 ~~~ ClickHouse 会将相同主键的所有行（在一个数据片段内）替换为单个存储一系列聚合函数状态
阅读全文
摘要：一、MergeTree家族表引擎：SummingMergeTree ### SummingMergeTree ~~~ 该引擎继承自 MergeTree。区别在于，当合并 SummingMergeTree 表的数据片段时， ~~~ ClickHouse 会把所有具有相同聚合数据的条件Key的行合并为一
阅读全文
摘要：一、HOT/COLD策略 ### 配置方式在config.xml配置文件中指定： ~~~ # 在集群主机上config.xml配置JBOD策略 [root@hadoop01 ~]# vim /etc/clickhouse-server/config.xml ~~~ 在config.xml文件最后一行
阅读全文
摘要：一、MergeTree家族表引擎：MergeTree家族表引擎 ### ReplacingMergeTree ~~~ 这个引擎是在 MergeTree 的基础上，添加了“处理重复数据”的功能， ~~~ 该引擎和MergeTree的不同之处在于它会删除具有相同主键的重复项。 ### 特点： ~~~ 使
阅读全文
摘要：一、MergeTree存储策略配置 ### 整体配置：配置mergetree存储配置方案 ~~~ # 所有主机创建mergetree存储目录 [root@hadoop01 ~]# mkdir -p /var/lib/clickhouse/chbase/colddata [root@hadoop01
阅读全文
摘要：一、JBOD策略 ### 配置方式在config.xml配置文件中指定： ~~~ # 在集群主机上config.xml配置JBOD策略 [root@hadoop01 ~]# vim /etc/clickhouse-server/config.xml ~~~ 在config.xml文件最后一行：</y
阅读全文
摘要：一、数据标记 ### 数据标记 ~~~ .mrk文件 ~~~ 将以及索引primary.idx和数据文件.bin建立映射关系 ### 通用用hits_v1表说明： ~~~ 数据标记和索引区间是对齐的，根据索引区间的下标编号， ~~~ 就能找到数据标记 索引编号和数据标记数值相同 ~~~ 每一个[Co
阅读全文
摘要：一、MergTree的TTL ### MergTree的TTL ~~~ TTL：time to live 数据存活时间。TTL既可以设置在表上，也可以设置在列上。 ~~~ TTL指定的时间到期后则删除相应的表或列，如果同时设置了TTL，则根据先过期时间删除相应数据。 ### 用法： ~~~ TTL
阅读全文
摘要：一、ClickHouse表引擎&MergeTree数据分区 ### 数据分区 ~~~ 数据是以分区目录的形式组织的，每个分区独立分开存储。 ~~~ 这种形式，查询数据时，可以有效的跳过无用的数据文件。 ~~~ 数据分区的规则分区键的取值生成分区ID分区根据ID决定。 ~~~ 根据分区键的数据类型不同
阅读全文
