SpringCore - 博客园

2024年1月18日

摘要：应用模式：用户代码在JobManger上解析、运行，而不是在客户端上进行 YARN上部署的过程：客户端把 Flink 应用提交给 Yarn 的 ResourceManager，Yarn 的 ResourceManager 会向 Yarn 的 NodeManager 申请容器。在这些容器上，Flin 阅读全文

posted @ 2024-01-18 15:42 SpringCore 阅读(564) 评论(0) 推荐(0) 编辑

Flink1.18 & YARN 单作业模式部署

摘要：单作业模式：提交作业时才启动Flink集群。不用事先启动，直接flink run即可，注意需要添加-t yarn-per-job参数用于区分。 YARN上部署的过程：客户端把 Flink 应用提交给 Yarn 的 ResourceManager，Yarn 的 ResourceManager 会向阅读全文

posted @ 2024-01-18 09:57 SpringCore 阅读(251) 评论(0) 推荐(0) 编辑

2024年1月17日

Flink1.18 & YARN 会话模式

摘要： YARN上部署的过程：客户端把 Flink 应用提交给 Yarn 的 ResourceManager，Yarn 的 ResourceManager 会向 Yarn 的 NodeManager 申请容器。在这些容器上，Flink 会部署 JobManager 和 TaskManager 的实例，从而阅读全文

posted @ 2024-01-17 20:58 SpringCore 阅读(79) 评论(0) 推荐(0) 编辑

Flink 1.18 Standalone 应用模式部署

摘要：本文基于：Flink Java Demo 1.下载 https://dlcdn.apache.org/flink/flink-1.18.0/flink-1.18.0-bin-scala_2.12.tgz 2.解压 mkdir /usr/flink tar -zxvf /home/flink-1.18 阅读全文

posted @ 2024-01-17 19:25 SpringCore 阅读(217) 评论(0) 推荐(0) 编辑

Flink Java Demo

摘要： 1.新建Maven项目 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-inst 阅读全文

posted @ 2024-01-17 19:09 SpringCore 阅读(177) 评论(0) 推荐(0) 编辑

Flink 提交作业的几种方式

摘要：本文基于Flink Java Demo 1.WebUI作业提交 2.命令行提交 1.将Maven打包后的jar包上传到集群节点[略] 2.提交作业 /usr/flink/flink-1.18.0/bin/flink run -m 192.168.58.130:8081 -c cn.coreqi.Wo 阅读全文

posted @ 2024-01-17 18:19 SpringCore 阅读(125) 评论(0) 推荐(0) 编辑

Flink 1.18 Standalone 会话模式集群搭建

摘要： Flink 在Standalone集群模式下不支持单作业模式部署，单作业模式需要借助资源管理平台。 1.Flink角色 Client：用于提交任务的客户端 JobManager：调度、分发任务的管理器 TaskManager：执行任务 2.集群规划节点服务器 Hadoop02(192.168.58 阅读全文

posted @ 2024-01-17 11:57 SpringCore 阅读(394) 评论(0) 推荐(0) 编辑

2024年1月15日

SparkStreaming 连接 Kafka数据源

摘要：本文的前提条件: SparkStreaming in Java 参考地址：Spark Streaming + Kafka Integration Guide (Kafka broker version 0.10.0 or higher) 1.添加POM依赖 <dependency> <groupId 阅读全文

posted @ 2024-01-15 21:24 SpringCore 阅读(44) 评论(0) 推荐(0) 编辑

SparkStreaming 自定义数据采集器

摘要：本文的前提条件: SparkStreaming in Java 参考地址：Spark Streaming Custom Receivers 1.自定义数据采集器 package cn.coreqi.receiver; import org.apache.spark.storage.StorageLe 阅读全文

posted @ 2024-01-15 19:51 SpringCore 阅读(38) 评论(0) 推荐(0) 编辑

SparkStreaming in Java

摘要：参考地址：Spark Streaming Programming Guide 1.新建Maven项目,POM引入依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.13</artifact 阅读全文

posted @ 2024-01-15 19:37 SpringCore 阅读(12) 评论(0) 推荐(0) 编辑

Coreqi

公告