06 2022 档案
摘要：Flink定义 Apache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams. Apache Flink
阅读全文
摘要：1.下载 wget http://archive.apache.org/dist/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz 2.解压 tar -zxvf apache-hive-3.1.2-bin.tar.gz 3.配置环境变量 vim /etc/pr
阅读全文
摘要：1、安装要求 一台或多台机器，操作系统 CentOS7.x-86_x64 硬件配置：2GB 或更多 RAM，2 个 CPU 或更多 CPU，硬盘 30GB 或更多 集群中所有机器之间网络互通 可以访问外网，需要拉取镜像 禁止 swap 分区 2、系统初始化（所有节点执行） 2.1、关闭防火墙 $ s
阅读全文
摘要： flink1.13于5月4日发布，版本迭代之快，更是体现了其势不可挡的发展速度。社区活跃度逐步攀升，当然少不了与云原生等技术的集成。 本文主要讲解flink的原生k8s application模式部署步骤，原生k8本质上是flink内部集成了k8s，能够做到Taskmanager的弹性伸缩。
阅读全文
摘要：上一篇中提到flink+kafka如何做到任务级顺序保证，而端到端一致性即为实现用户数据目标端与源端的准确一致，当源端数据发生更改时，保证目标端及时、正确、持久的写入更改数据。为实现端到端一致性应在顺序保证的基础上，实现一致性语义exactly once的保证。纵观各底层组件：Debezium、Ka
阅读全文
摘要：顺序保证难点 本文主要分析 CDC 业务场景中任务级顺序保证，技术选型为：debezium、kafka、flink，其构成了顺序保证中至关重要的每一环，应该充分考虑、分析各组件的对于顺序的支持。 首先 debezium 作为采集组件，其分别为 schema topic 和 data topic 提供
阅读全文
摘要：启动任务和更新任务 public void start( DataprocessParam dataprocessParam, DataMap target, Pair<Boolean, String> ifWithSavePoint) { Kafka kafka = dataprocessPara
阅读全文
摘要：将mockito-core换成mockito-inline <dependency> <groupId>org.mockito</groupId> <artifactId>mockito-inline</artifactId> <version>3.6.0</version> <scope>test
阅读全文
摘要：1. 修改Linux主机名 hostnamectl set-hostname dhf1 或修改配置文件 vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=dhf1 2. 修改IP vim /etc/sysconfig/network-scripts
阅读全文
摘要：背景 Flink 版本 1.13.3，使用 native k8s 部署模式，原采用 HDFS 作为状态快照（Checkpoint、Savepoint）的存储地址，但是由于仅使用了其 HDFS 作为状态快照存储地址，且 Hadoop 框架较重，在 k8s 集群中占用大量资源，现考虑将其替换为更轻量级的
阅读全文
摘要：Flink内存模型分析 JobManager内存模型 TaskManager内存模型 内存模型分析 Flink使用内存（Total Flink Memory）=框架堆内存+框架堆外内存+task堆内存+task堆外内存+网络缓冲内存+托管内存 进程内存（Total Process Memory）=F
阅读全文
摘要：我们将不描述如何增强Table API/SQL和DataStream的所有技术细节。目标是在弃用DataSet API的想法上达成共识。必须有后续的flip来描述我们所维护的api的必要更改。
阅读全文
