随笔分类 - flink
摘要：
使用相同的slot执行所有task可能会导致非最佳资源利用率。相同slot位的资源必须能够满足最高资源要求，这对于其他要求将是浪费的。当涉及到 GPU 等昂贵的外部资源时，这种浪费会变得更加难以承受。
因此，需要细粒度的资源管理，利用不同资源的slot来提高这种场景下的资源利用率。
阅读全文
使用相同的slot执行所有task可能会导致非最佳资源利用率。相同slot位的资源必须能够满足最高资源要求，这对于其他要求将是浪费的。当涉及到 GPU 等昂贵的外部资源时，这种浪费会变得更加难以承受。
因此，需要细粒度的资源管理，利用不同资源的slot来提高这种场景下的资源利用率。
阅读全文
摘要：Flink定义 Apache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams. Apache Flink
阅读全文
摘要： flink1.13于5月4日发布，版本迭代之快，更是体现了其势不可挡的发展速度。社区活跃度逐步攀升，当然少不了与云原生等技术的集成。 本文主要讲解flink的原生k8s application模式部署步骤，原生k8本质上是flink内部集成了k8s，能够做到Taskmanager的弹性伸缩。
阅读全文
摘要：上一篇中提到flink+kafka如何做到任务级顺序保证，而端到端一致性即为实现用户数据目标端与源端的准确一致，当源端数据发生更改时，保证目标端及时、正确、持久的写入更改数据。为实现端到端一致性应在顺序保证的基础上，实现一致性语义exactly once的保证。纵观各底层组件：Debezium、Ka
阅读全文
摘要：顺序保证难点 本文主要分析 CDC 业务场景中任务级顺序保证，技术选型为：debezium、kafka、flink，其构成了顺序保证中至关重要的每一环，应该充分考虑、分析各组件的对于顺序的支持。 首先 debezium 作为采集组件，其分别为 schema topic 和 data topic 提供
阅读全文
摘要：启动任务和更新任务 public void start( DataprocessParam dataprocessParam, DataMap target, Pair<Boolean, String> ifWithSavePoint) { Kafka kafka = dataprocessPara
阅读全文
摘要：1. 修改Linux主机名 hostnamectl set-hostname dhf1 或修改配置文件 vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=dhf1 2. 修改IP vim /etc/sysconfig/network-scripts
阅读全文
摘要：背景 Flink 版本 1.13.3，使用 native k8s 部署模式，原采用 HDFS 作为状态快照（Checkpoint、Savepoint）的存储地址，但是由于仅使用了其 HDFS 作为状态快照存储地址，且 Hadoop 框架较重，在 k8s 集群中占用大量资源，现考虑将其替换为更轻量级的
阅读全文
摘要：Flink内存模型分析 JobManager内存模型 TaskManager内存模型 内存模型分析 Flink使用内存（Total Flink Memory）=框架堆内存+框架堆外内存+task堆内存+task堆外内存+网络缓冲内存+托管内存 进程内存（Total Process Memory）=F
阅读全文
摘要：我们将不描述如何增强Table API/SQL和DataStream的所有技术细节。目标是在弃用DataSet API的想法上达成共识。必须有后续的flip来描述我们所维护的api的必要更改。
阅读全文
