摘要： 书接上回。 3.Transform 转换算子【代码示例统一放在最后边】 3.1 map val streamMap = stream.map { x => x * 2 } 3.2 flatMap flatMap 的函数签名：def flatMap[A,B](as: List[A])(f: A ⇒ L 阅读全文

摘要： 1.Environment 1.1 getExecutionEnvironment 创建一个执行环境，表示当前执行程序的上下文。 如果程序是独立调用的，则此方法返回本地执行环境；如果从命令行客户端调用程序以提交到集群，则此方法返回此集群的执行环境，也就是说，getExecutionEnvironme 阅读全文

摘要： 任务调度图示 客户端不是运行时和程序执行的一部分，但它用于准备并发送dataflow(JobGraph)给Master(JobManager)，然后，客户端断开连接或者维持连接以等待接收计算结果。当Flink集群启动后，首先会启动一个JobManger和一个或多个的TaskManager。由Clie 阅读全文

摘要： 运行时架构 各组件的交互： 上图是从一个较为高层级的视角，来看应用中各组件的交互协作。如果部署的集群环境不同（例如 YARN，Mesos，Kubernetes，standalone 等），其中一些步骤可以被省略，或是有些组件会运行在同一个 JVM 进程中。 具体地，如果我们将 Flink 集群部署到 阅读全文

摘要： 运行时组件 Flink 运行时架构主要包括四个不同的组件，它们会在运行流处理应用程序时协同工作：作业管理器（JobManager）、资源管理器（ResourceManager）、任务管理器（TaskManager），以及分发器（Dispatcher）。因为 Flink 是用 Java 和 Scala 阅读全文

摘要： 1.初识 Flink 起源于 Stratosphere 项目，Stratosphere 是在 2010~2014 年由 3 所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目，2014 年 4 月 Stratosphere 的代 码 被 复 制 并 捐 赠 给 了 Apache 软 件 基 金 阅读全文

摘要： 1.拉取镜像包 docker pull prom/node-exporter docker pull prom/prometheus docker pull grafana/grafana 2.启动node-exporter[方便测试Prometheus] docker run -d -p 9100 阅读全文

摘要： 1.分布式DDL某数据节点的副本不执行 （1）问题：使用分布式 ddl 执行命令 create table on cluster xxxx 某个节点上没有创建表，但是 client 返回正常，查看日志有如下报错。 <Error> xxx.xxx: Retrying createReplica(), 阅读全文

摘要： 1.监控概述 ClickHouse 运行时会将一些个自身的运行状态记录到众多系统表中( system.*)。所以我们对于 CH 自身的一些运行指标的监控数据，也主要来自这些系统表。 但是直接查询这些系统表会有一些不足之处： ➢ 这种方式太过底层，不够直观，我们还需要在此之上实现可视化展示； ➢ 系统 阅读全文

摘要： ClickHouse 的物化视图是一种查询结果的持久化，它确实是给我们带来了查询效率的提升。用户查起来跟表没有区别，它就是一张表，它也像是一张时刻在预计算的表，创建的过程它是用了一个特殊引擎，加上后来 as select，就是 create 一个 table as select 的写法。 “查询结果 阅读全文