上一页 1 2 3 4 5 6 7 ··· 33 下一页

2022年6月8日

Flink-Transform(转换)

摘要： 书接上回。 3.Transform 转换算子【代码示例统一放在最后边】 3.1 map val streamMap = stream.map { x => x * 2 } 3.2 flatMap flatMap 的函数签名：def flatMap[A,B](as: List[A])(f: A ⇒ L 阅读全文

posted @ 2022-06-08 22:00 嘣嘣嚓 阅读(175) 评论(0) 推荐(0) 编辑

2022年6月6日

Flink-Source(数据源)

摘要： 1.Environment 1.1 getExecutionEnvironment 创建一个执行环境，表示当前执行程序的上下文。 如果程序是独立调用的，则此方法返回本地执行环境；如果从命令行客户端调用程序以提交到集群，则此方法返回此集群的执行环境，也就是说，getExecutionEnvironme 阅读全文

posted @ 2022-06-06 23:09 嘣嘣嚓 阅读(91) 评论(0) 推荐(0) 编辑

2022年6月1日

Flink-任务调度原理

摘要： 任务调度图示 客户端不是运行时和程序执行的一部分，但它用于准备并发送dataflow(JobGraph)给Master(JobManager)，然后，客户端断开连接或者维持连接以等待接收计算结果。当Flink集群启动后，首先会启动一个JobManger和一个或多个的TaskManager。由Clie 阅读全文

posted @ 2022-06-01 22:13 嘣嘣嚓 阅读(492) 评论(0) 推荐(0) 编辑

2022年5月30日

Flink-任务提交流程

摘要： 运行时架构 各组件的交互： 上图是从一个较为高层级的视角，来看应用中各组件的交互协作。如果部署的集群环境不同（例如 YARN，Mesos，Kubernetes，standalone 等），其中一些步骤可以被省略，或是有些组件会运行在同一个 JVM 进程中。 具体地，如果我们将 Flink 集群部署到 阅读全文

posted @ 2022-05-30 22:57 嘣嘣嚓 阅读(187) 评论(0) 推荐(0) 编辑

Flink-运行时架构

摘要： 运行时组件 Flink 运行时架构主要包括四个不同的组件，它们会在运行流处理应用程序时协同工作：作业管理器（JobManager）、资源管理器（ResourceManager）、任务管理器（TaskManager），以及分发器（Dispatcher）。因为 Flink 是用 Java 和 Scala 阅读全文

posted @ 2022-05-30 22:56 嘣嘣嚓 阅读(62) 评论(0) 推荐(0) 编辑

2022年5月18日

Flink-初识(特点、与sparkstreaming的比较)

摘要： 1.初识 Flink 起源于 Stratosphere 项目，Stratosphere 是在 2010~2014 年由 3 所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目，2014 年 4 月 Stratosphere 的代 码 被 复 制 并 捐 赠 给 了 Apache 软 件 基 金 阅读全文

posted @ 2022-05-18 21:49 嘣嘣嚓 阅读(135) 评论(0) 推荐(0) 编辑

2022年5月10日

Docker-安装Prometheus、grafana

摘要： 1.拉取镜像包 docker pull prom/node-exporter docker pull prom/prometheus docker pull grafana/grafana 2.启动node-exporter[方便测试Prometheus] docker run -d -p 9100 阅读全文

posted @ 2022-05-10 22:57 嘣嘣嚓 阅读(98) 评论(0) 推荐(0) 编辑

ClickHouse-常见问题

摘要： 1.分布式DDL某数据节点的副本不执行 （1）问题：使用分布式 ddl 执行命令 create table on cluster xxxx 某个节点上没有创建表，但是 client 返回正常，查看日志有如下报错。 <Error> xxx.xxx: Retrying createReplica(), 阅读全文

posted @ 2022-05-10 22:51 嘣嘣嚓 阅读(574) 评论(0) 推荐(0) 编辑

ClickHouse-监控及备份

摘要： 1.监控概述 ClickHouse 运行时会将一些个自身的运行状态记录到众多系统表中( system.*)。所以我们对于 CH 自身的一些运行指标的监控数据，也主要来自这些系统表。 但是直接查询这些系统表会有一些不足之处： ➢ 这种方式太过底层，不够直观，我们还需要在此之上实现可视化展示； ➢ 系统 阅读全文

posted @ 2022-05-10 22:49 嘣嘣嚓 阅读(349) 评论(0) 推荐(0) 编辑

2022年5月9日

ClickHouse-物化视图

摘要： ClickHouse 的物化视图是一种查询结果的持久化，它确实是给我们带来了查询效率的提升。用户查起来跟表没有区别，它就是一张表，它也像是一张时刻在预计算的表，创建的过程它是用了一个特殊引擎，加上后来 as select，就是 create 一个 table as select 的写法。 “查询结果 阅读全文

posted @ 2022-05-09 22:42 嘣嘣嚓 阅读(1445) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 7 ··· 33 下一页

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5
点击右上角即可分享
微信分享提示