摘要：
Flink 提供了专门的 Kafka 连接器，向 Kafka topic 中读取或者写入数据。Flink Kafka Consumer 集成了 Flink 的 Checkpoint 机制，可提供 exactly-once 的处理语义。为此，Flink 并不完全依赖于跟踪 Kafka 消费组的偏移量， 阅读全文
摘要：
TaskManger与Slots Flink中每一个worker(TaskManager)都是一个JVM进程，它可能会在独立的线程上执行一个或多个subtask。为了控制一个worker能接收多少个task，worker通过task slot来进行控制（一个worker至少有一个task slot） 阅读全文
摘要：
在上一篇关于物化视图的文章中, 我们介绍了一种构造ClickHouse物化视图的方法, 该视图使用SummingMergeTree引擎计算总和和计数. SummingMergeTree可以为这两种类型的聚合使用普通的SQL语法. 我们还让物化视图定义自动为数据创建基础表(.inner表). 这两种技 阅读全文
摘要：
我们喜欢ClickHouse的物化视图. 物化视图可以实现聚合计算, 从Kafka读取数据, 实现最后点查询(last point queries)以及重组表主键索引和排序顺序. 除了这些功能之外, 物化视图可以在大量节点上很好地扩缩, 并可以处理大型数据集. 它们是ClickHouse的独特功能之 阅读全文
摘要：
背景 前面介绍了ClickHouse相关的系列文章，该系列文章包括了安装、权限管理、副本分片、配置说明等。这次介绍一些ClickHouse相关的系统命令，如重载配置文件、关闭服务和进程、停止和启动后台任务等。具体的信息可以看官方文档说明，顺也说明下set和optimize的命令。 说明 SYSTEM 阅读全文
摘要：
背景 在之前写的文章用户权限管理里已经介绍了应该如何设置用户密码以及权限控制。但是只是针对修改配置文件的方式来进行用户权限管理，其实ClickHouse也支持基于RBAC（Role-Based Access Control）的访问控制管理，即通过SQL-driven来进行管理。在 RBAC 中，权限 阅读全文
摘要：
背景 现在ClickHouse已经能正常使用起来了，包括副本和分片。因为ClickHouse已经可以提供服务了，现在需要关心的就是服务期间该数据库的各项性能指标的情况，如CPU、内存、查询等等。其实在安装完ClickHouse之后，有个内置的数据库system，该库下保存了很多需要的信息，类似于My 阅读全文
摘要：
背景 本文开始说明ClickHouse的副本与分片，和其他数据库一样，ClickHouse也会出现单节点故障和单节点资源到达上限的情况。所以针对上面的2个问题，就出现了副本和分片。副本：能避免单节点故障的问题，类似于MySQL的Replicate和MongoDB的Replicate Set。分片：解 阅读全文
摘要：
背景 最近花了些时间看了下ClickHouse文档，发现它在OLAP方面表现很优异，而且相对也比较轻量和简单，所以准备入门了解下该数据库系统。在介绍了安装和用户权限管理之后，本文对其配置文件做下相关的介绍说明。 说明 ClickHouse的配置文件是config.xml，默认在/etc/clickh 阅读全文
摘要：
背景 最近花了些时间看了下ClickHouse文档，发现它在OLAP方面表现很优异，而且相对也比较轻量和简单，所以准备入门了解下该数据库系统。在安装完之后首先做的应该如何设置用户密码以及权限控制。因为和MySQL、MongoDB等数据库的用户管理完全不一样，为方便自己以后直接查阅，本文对其用户权限管 阅读全文