05 2022 档案

Flink-任务提交流程
摘要:运行时架构 各组件的交互: 上图是从一个较为高层级的视角,来看应用中各组件的交互协作。如果部署的集群环境不同(例如 YARN,Mesos,Kubernetes,standalone 等),其中一些步骤可以被省略,或是有些组件会运行在同一个 JVM 进程中。 具体地,如果我们将 Flink 集群部署到 阅读全文

posted @ 2022-05-30 22:57 嘣嘣嚓 阅读(183) 评论(0) 推荐(0) 编辑

Flink-运行时架构
摘要:运行时组件 Flink 运行时架构主要包括四个不同的组件,它们会在运行流处理应用程序时协同工作:作业管理器(JobManager)、资源管理器(ResourceManager)、任务管理器(TaskManager),以及分发器(Dispatcher)。因为 Flink 是用 Java 和 Scala 阅读全文

posted @ 2022-05-30 22:56 嘣嘣嚓 阅读(61) 评论(0) 推荐(0) 编辑

Flink-初识(特点、与sparkstreaming的比较)
摘要:1.初识 Flink 起源于 Stratosphere 项目,Stratosphere 是在 2010~2014 年由 3 所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目,2014 年 4 月 Stratosphere 的代 码 被 复 制 并 捐 赠 给 了 Apache 软 件 基 金 阅读全文

posted @ 2022-05-18 21:49 嘣嘣嚓 阅读(134) 评论(0) 推荐(0) 编辑

Docker-安装Prometheus、grafana
摘要:1.拉取镜像包 docker pull prom/node-exporter docker pull prom/prometheus docker pull grafana/grafana 2.启动node-exporter[方便测试Prometheus] docker run -d -p 9100 阅读全文

posted @ 2022-05-10 22:57 嘣嘣嚓 阅读(96) 评论(0) 推荐(0) 编辑

ClickHouse-常见问题
摘要:1.分布式DDL某数据节点的副本不执行 (1)问题:使用分布式 ddl 执行命令 create table on cluster xxxx 某个节点上没有创建表,但是 client 返回正常,查看日志有如下报错。 <Error> xxx.xxx: Retrying createReplica(), 阅读全文

posted @ 2022-05-10 22:51 嘣嘣嚓 阅读(569) 评论(0) 推荐(0) 编辑

ClickHouse-监控及备份
摘要:1.监控概述 ClickHouse 运行时会将一些个自身的运行状态记录到众多系统表中( system.*)。所以我们对于 CH 自身的一些运行指标的监控数据,也主要来自这些系统表。 但是直接查询这些系统表会有一些不足之处: ➢ 这种方式太过底层,不够直观,我们还需要在此之上实现可视化展示; ➢ 系统 阅读全文

posted @ 2022-05-10 22:49 嘣嘣嚓 阅读(347) 评论(0) 推荐(0) 编辑

ClickHouse-物化视图
摘要:ClickHouse 的物化视图是一种查询结果的持久化,它确实是给我们带来了查询效率的提升。用户查起来跟表没有区别,它就是一张表,它也像是一张时刻在预计算的表,创建的过程它是用了一个特殊引擎,加上后来 as select,就是 create 一个 table as select 的写法。 “查询结果 阅读全文

posted @ 2022-05-09 22:42 嘣嘣嚓 阅读(1434) 评论(0) 推荐(0) 编辑

ClickHouse-数据一致性
摘要:在生产环境中,数据一致性的重要性,不论如何强调都不过分。而 ClickHouse 在进行数据变更时,都会产生一个临时分区,而不会更改原始数据文件,对数据文件的修改操作会要等到数据合并时才进行。所以 ClickHouse 只能保证数据的最终一致性,而不能保证强一致性。很可能数据变更后,程序通过 Cli 阅读全文

posted @ 2022-05-09 22:14 嘣嘣嚓 阅读(1079) 评论(0) 推荐(0) 编辑

导航

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8
点击右上角即可分享
微信分享提示