dhf123

2022年8月20日

摘要：

使用相同的slot执行所有task可能会导致非最佳资源利用率。相同slot位的资源必须能够满足最高资源要求，这对于其他要求将是浪费的。当涉及到 GPU 等昂贵的外部资源时，这种浪费会变得更加难以承受。因此，需要细粒度的资源管理，利用不同资源的slot来提高这种场景下的资源利用率。阅读全文

posted @ 2022-08-20 17:47 dhf123 阅读(157) 评论(0) 推荐(0) 编辑

2022年6月2日

flink相关概念介绍

摘要： Flink定义 Apache Flink is a framework and distributed processing engine for stateful computations over unbounded and bounded data streams. Apache Flink 阅读全文

posted @ 2022-06-02 17:29 dhf123 阅读(123) 评论(0) 推荐(0) 编辑

hive3.1.2安装(基于mysql存储元数据)

摘要： 1.下载 wget http://archive.apache.org/dist/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz 2.解压 tar -zxvf apache-hive-3.1.2-bin.tar.gz 3.配置环境变量 vim /etc/pr 阅读全文

posted @ 2022-06-02 17:26 dhf123 阅读(39) 评论(0) 推荐(0) 编辑

kubeadmin部署k8s集群

摘要： 1、安装要求一台或多台机器，操作系统 CentOS7.x-86_x64 硬件配置：2GB 或更多 RAM，2 个 CPU 或更多 CPU，硬盘 30GB 或更多集群中所有机器之间网络互通可以访问外网，需要拉取镜像禁止 swap 分区 2、系统初始化（所有节点执行） 2.1、关闭防火墙 $ s 阅读全文

posted @ 2022-06-02 17:25 dhf123 阅读(165) 评论(0) 推荐(0) 编辑

flink on native k8s by application mode

摘要： flink1.13于5月4日发布，版本迭代之快，更是体现了其势不可挡的发展速度。社区活跃度逐步攀升，当然少不了与云原生等技术的集成。本文主要讲解flink的原生k8s application模式部署步骤，原生k8本质上是flink内部集成了k8s，能够做到Taskmanager的弹性伸缩。阅读全文

posted @ 2022-06-02 17:22 dhf123 阅读(345) 评论(0) 推荐(0) 编辑

flink+kafka的端到端一致性

摘要：上一篇中提到flink+kafka如何做到任务级顺序保证，而端到端一致性即为实现用户数据目标端与源端的准确一致，当源端数据发生更改时，保证目标端及时、正确、持久的写入更改数据。为实现端到端一致性应在顺序保证的基础上，实现一致性语义exactly once的保证。纵观各底层组件：Debezium、Ka 阅读全文

posted @ 2022-06-02 17:20 dhf123 阅读(197) 评论(0) 推荐(0) 编辑

kafka+flink任务级顺序保证

摘要：顺序保证难点本文主要分析 CDC 业务场景中任务级顺序保证，技术选型为：debezium、kafka、flink，其构成了顺序保证中至关重要的每一环，应该充分考虑、分析各组件的对于顺序的支持。首先 debezium 作为采集组件，其分别为 schema topic 和 data topic 提供阅读全文

posted @ 2022-06-02 17:18 dhf123 阅读(705) 评论(0) 推荐(0) 编辑

k8s application模式自动部署flink任务

摘要：启动任务和更新任务 public void start( DataprocessParam dataprocessParam, DataMap target, Pair<Boolean, String> ifWithSavePoint) { Kafka kafka = dataprocessPara 阅读全文

posted @ 2022-06-02 17:14 dhf123 阅读(380) 评论(0) 推荐(0) 编辑

静态方法单元测试

摘要：将mockito-core换成mockito-inline <dependency> <groupId>org.mockito</groupId> <artifactId>mockito-inline</artifactId> <version>3.6.0</version> <scope>test 阅读全文

posted @ 2022-06-02 17:11 dhf123 阅读(413) 评论(0) 推荐(0) 编辑

hadoop集群快速部署

摘要： 1. 修改Linux主机名 hostnamectl set-hostname dhf1 或修改配置文件 vim /etc/sysconfig/network NETWORKING=yes HOSTNAME=dhf1 2. 修改IP vim /etc/sysconfig/network-scripts 阅读全文

posted @ 2022-06-02 17:10 dhf123 阅读(185) 评论(0) 推荐(0) 编辑