随笔分类 - Clickhouse
摘要：如果对MySQL熟悉的话，或许你应该听说过InnoDB和MyISAM存储引擎。不同的存储引擎提供不同的存储机制、索引方式、锁定水平等功能，也可以称之为表类型。ClickHouse提供了丰富的表引擎，这些不同的表引擎也代表着不同的表类型。比如数据表拥有何种特性、数据以何种形式被存储以及如何被加载。本文
阅读全文
摘要：编者按 ClickHouse自从2016年开源以来便备受关注，主要应用于数据分析（OLAP）领域，各个大厂纷纷跟进大规模使用。百分点科技在某国家级项目建设中完成了多数据中心的ClickHouse集群建设，日增千亿数据量，在此基础上进行优化与性能调优，能够更好地解决部署规模扩大和数据量扩容等问题。本文
阅读全文
摘要：编者按 ClickHouse自从2016年开源以来，在数据分析（OLAP）领域火热，各个大厂纷纷跟进大规模使用。百分点在某国家级项目中的完成了多数据中心的ClickHouse集群建设，目前存储总量超10PB，日增数据100TB左右，预计流量今年会扩大3倍。本文是结合百分点在前期设计中的经验对Clic
阅读全文
摘要：作者简介 蔡岳毅，携程酒店大数据高级研发经理，负责酒店数据智能平台研发，大数据技术创新工作。喜欢探索研究大数据的开源技术框架。 一、背景 1）携程酒店每天有上千表，累计十多亿数据更新，如何保证数据更新过程中生产应用高可用； 2）每天有将近百万次数据查询请求，用户可以从粗粒度国家省份城市汇总不断下钻到
阅读全文
摘要：优点： 1，为了高效的使用CPU，数据不仅仅按列存储，同时还按向量进行处理； 2，数据压缩空间大，减少IO；处理单查询高吞吐量每台服务器每秒最多数十亿行； 3，索引非B树结构，不需要满足最左原则；只要过滤条件在索引列中包含即可；即使在使用的数据不在索引中，由于各种并行处理机制ClickHouse全表
阅读全文
摘要：在上一篇关于物化视图的文章中, 我们介绍了一种构造ClickHouse物化视图的方法, 该视图使用SummingMergeTree引擎计算总和和计数. SummingMergeTree可以为这两种类型的聚合使用普通的SQL语法. 我们还让物化视图定义自动为数据创建基础表(.inner表). 这两种技
阅读全文
摘要：我们喜欢ClickHouse的物化视图. 物化视图可以实现聚合计算, 从Kafka读取数据, 实现最后点查询(last point queries)以及重组表主键索引和排序顺序. 除了这些功能之外, 物化视图可以在大量节点上很好地扩缩, 并可以处理大型数据集. 它们是ClickHouse的独特功能之
阅读全文
摘要：背景 前面介绍了ClickHouse相关的系列文章，该系列文章包括了安装、权限管理、副本分片、配置说明等。这次介绍一些ClickHouse相关的系统命令，如重载配置文件、关闭服务和进程、停止和启动后台任务等。具体的信息可以看官方文档说明，顺也说明下set和optimize的命令。 说明 SYSTEM
阅读全文
摘要：背景 在之前写的文章用户权限管理里已经介绍了应该如何设置用户密码以及权限控制。但是只是针对修改配置文件的方式来进行用户权限管理，其实ClickHouse也支持基于RBAC（Role-Based Access Control）的访问控制管理，即通过SQL-driven来进行管理。在 RBAC 中，权限
阅读全文
摘要：背景 现在ClickHouse已经能正常使用起来了，包括副本和分片。因为ClickHouse已经可以提供服务了，现在需要关心的就是服务期间该数据库的各项性能指标的情况，如CPU、内存、查询等等。其实在安装完ClickHouse之后，有个内置的数据库system，该库下保存了很多需要的信息，类似于My
阅读全文
摘要：背景 本文开始说明ClickHouse的副本与分片，和其他数据库一样，ClickHouse也会出现单节点故障和单节点资源到达上限的情况。所以针对上面的2个问题，就出现了副本和分片。副本：能避免单节点故障的问题，类似于MySQL的Replicate和MongoDB的Replicate Set。分片：解
阅读全文
摘要：背景 最近花了些时间看了下ClickHouse文档，发现它在OLAP方面表现很优异，而且相对也比较轻量和简单，所以准备入门了解下该数据库系统。在介绍了安装和用户权限管理之后，本文对其配置文件做下相关的介绍说明。 说明 ClickHouse的配置文件是config.xml，默认在/etc/clickh
阅读全文
摘要：背景 最近花了些时间看了下ClickHouse文档，发现它在OLAP方面表现很优异，而且相对也比较轻量和简单，所以准备入门了解下该数据库系统。在安装完之后首先做的应该如何设置用户密码以及权限控制。因为和MySQL、MongoDB等数据库的用户管理完全不一样，为方便自己以后直接查阅，本文对其用户权限管
阅读全文
摘要：本文探讨clickhouse的1个经典问题： 如何模拟实现记录更新和删除效果？（因为clickhouse自带的update/delete实现极为低效） 跟着我的例子走吧。 创建数据库db2 CREATE DATABASE IF NOT EXISTS db2 ON CLUSTER mycluster
阅读全文
摘要：clickhouse是当下最流行的OLAP产品，我总结其代表能力体现为： 存储数据：与presto等直接读取外部数据进行计算的方式不同，clickhouse大部分情况是冗余存储一份数据的，所以clickhouse需要提供多种数据集成的方案与生态。 即席查询：典型ad-hoc产品，海量数据秒出数据，计
阅读全文
摘要：ClickHouse 是俄罗斯最大的搜索引擎Yandex在2016年开源的数据库管理系统（DBMS），主要用于联机分析处理（OLAP）。其采用了面向列的存储方式，性能远超传统面向行的DBMS，近几年受到广泛关注。 本文将介绍ClickHouse MergeTree系列表引擎的相关知识，并通过示例分析
阅读全文
摘要：when i run a query. Service restart. And then I see the error log. Message: 2019.05.08 22:09:40.754275 [ 1 ] {} Application: DB::Exception: Cannot loc
阅读全文