摘要:
1.程序与数据流 (DataFlow) 所有的Flink程序都是由三部分组成: Source Transformation 和 Sink(输入、转换、输出) Source负责读取数据源,Transformation利用各种算子进行处理加工,Sink负责输出 在运行时,Flink上运行的程序会被映射成 阅读全文
摘要:
1.系统架构 1.1 整体构成 1.2 作业管理器(JobManager) 控制一个应用程序执行的主进程,是Flink集群中任务管理和调度的核心 JobMaster 是JobManager中最核心的组件,负责处理单独的作业(Job) 在提交作业时,JobMaster会先接受到要执行的应用,一般是由客 阅读全文
摘要:
1.环境配置 系统环境为 CentOS 7.5 版本。 安装 Java 8。 安装 Hadoop 集群,Hadoop 建议选择 Hadoop 2.7.5 以上版本。 配置集群节点服务器间时间同步以及免密登录,关闭防火墙。 自己配置设置如下: 节点服务器 1,IP 地址为 192.168.33.102 阅读全文
摘要:
1、Flink是什么? Apache Flink 是一个框架和分布式处理引擎,用于对无界和有界数据流进行状态计算 (官网解释) 用松鼠logo的原因:希望这个项目(Flink)能做到快速灵活的大数据的处理 ,Flink在德语里面表示 快速 灵巧 这玩意是德国的 Flink应用场景 电商和市场营销: 阅读全文
摘要:
1、IDEA创建Maven项目添加如下依赖 pom.xml <properties> <maven.compiler.source>18</maven.compiler.source> <maven.compiler.target>18</maven.compiler.target> <flink. 阅读全文