CDH6.3.x集成flink1.13
摘要：目前能下载到flink1.13的parcel包的资源确实少，有些也需要收费的，我这里采用自己编译的方法。 1、准备环境 jdk1.8 maven3.8.1 parcel制作工具 2、制作parcel 下载制作工具 git clone https://github.com/pkeropen/flink
阅读全文
posted @ 2022-06-10 17:55
随笔分类 - Flink
11、Flink On Yarn
摘要：flink的安装包我们前面已经下载好了，上传到集群，解压，我这里命名成flink-on-yarn 现在flink的软连接指向 我们改成指向flink-on-yarn 修改hadoop的配置文件的yarn-siite.xml <property> <name>yarn.resourcemanager.
阅读全文
posted @ 2021-04-02 17:24
10、Flink高可用HA
摘要：先搭建zookeeper 上传zookeeper并解压 把没有用的删除 创建一个目录zkData 修改zookeeper的配置文件 dataDir=/opt/modules/apache-zookeeper-3.6.1-bin/zkData server.1=master:2888:3888 ser
阅读全文
posted @ 2020-10-06 21:57
9、Standalone集群测试运行
摘要：启动flink集群 我们启动一下nc 启动flink自带的例子 bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000 在nc端输入一些单词 在浏览器端查看结果
阅读全文
posted @ 2020-09-24 10:37
8、Flink Standalone工作流程
摘要：在之前解压的flink安装包中，创建一个软链接 ln -s flink-1.8.0 flink 配置flink的环境变量 #flink export FLINK_HOME=/opt/modules/flink export PATH=$FLINK_HOME/bin:$PATH 配置完成后，把flin
阅读全文
posted @ 2020-09-23 15:54
7、Flink Local模式安装部署
摘要：我这里搭建了3节点的集群 操作系统：centos7 配置静态ip 配置三节点的免密通讯 配置时钟同步 安装jdk1.8 以上的具体步骤我就不多说了。 下载flink安装包：https://archive.apache.org/dist/flink/flink-1.8.0/ 上传安装包到集群 解压安装
阅读全文
posted @ 2020-09-22 18:02
6、Flink批处理案例和流处理案例实现-scala
摘要：在pom.xml文件添加以下依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-scala_2.11</artifactId> <version>${flink.version}</version> </depe
阅读全文
posted @ 2020-09-17 22:31
5、Flink创建scala项目
摘要：在原来的flink java项目的基础上新建一个名为scala的包 再新建一个包 新建一个类，但是我们发现并没有scala相关的类 我们需要把scala的依赖添加进来 可以看到，可以创建scala相关的类了 我们可以看到，如果要开发scala相关的项目，不需要重新创建一个新的项目，可以跟java的项
阅读全文
posted @ 2020-09-17 11:09
4、Flink流处理案例实现-Java
摘要：在Flink项目里面创建一个包，同时新建一个wordcount类 package com.gong.stream; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.ja
阅读全文
posted @ 2020-09-12 20:06
3、Flink批处理案例实现-Java
摘要：在创建好的Flink项目的基础上，新建一个类 package com.gong.batch; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.java.DataSet;
阅读全文
posted @ 2020-09-07 18:31
2.Flink项目创建
摘要：1、安装maven和scala环境 打开IDEA配置maven，我建议配置一个本地安装的maven不要使用IDEA自带的maven 在这里要注意一下配置maven的settings.xml文件 配置依赖包下载的路径 配置阿里源 <mirror> <id>alimaven</id> <name>ali
阅读全文
posted @ 2020-09-06 23:40
深入理解Apache Flink
摘要：Apache Flink（下简称Flink）项目是大数据处理领域最近冉冉升起的一颗新星，其不同于其他大数据项目的诸多特性吸引了越来越多人的关注。本文将深入分析Flink的一些关键技术与特性，希望能够帮助读者对Flink有更加深入的了解，对其他大数据系统开发者也能有所裨益。本文假设读者已对MapRed
阅读全文
posted @ 2017-09-29 09:56
什么是Apache Flink
摘要：大数据计算引擎的发展 这几年大数据的飞速发展，出现了很多热门的开源社区，其中著名的有 Hadoop、Storm，以及后来的 Spark，他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河，也以内存为赌注，赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身影
阅读全文
posted @ 2017-09-29 09:42
