Flink集成到CDH上，并运行一个例子

CDH原生的组件里面不包含Flink的组件。如果我们需要用FLink的话，必须自己添加并进行相关的配置。本篇就是介绍如果进行Flink集成到CDH上

集成FLINK主要分2大步骤

  • 第一步

 

  1. 提供一个包jar包，让cdh能识别你是谁，然后在cdh里注册，并下载文件激活。这里的jar有2种获取方式

 

  • 第二步 

　　在集群中添加服务，并启动。

 
下面我们就第一大步骤进行详细讲解（三小步骤）
  1. 准备Flink1.9的csd文件，并放置到Cloudera Manager Server的/opt/cloudera/csd目录。然后重启Cloudera Manager Server服务 

  2. CM重启完成以后，添加服务页面可以看到有Flink服务

  3.  
    下载Flink1.9的Parcel，并放置/var/www/html目录（本地yum源）。也可以直接把文件放到/opt/cloudera/parcel-repo目录下。我这里是放在我本地的yum服务器上
    下面我们就第二大步骤进行详细讲解（四小步骤）。
    一：创建flink包

    下载flink parcel

    1 # git clone https://github.com/pkeropen/flink-parcel.git  #文件已经下载到本地yum源库上

    1. 需要提前安装maven，执行编译脚本的需要用 
    1 # yum -y install maven
2 # chmod 744 build.sh

    2. 配置flink-parcel.properties

     1 #FLINK 下载地址  
 2 FLINK_URL=https://archive.apache.org/dist/flink/flink-1.9.1/flink-1.9.1-bin-scala_2.12.tgz 
 3   
 4 #flink版本号  
 5 FLINK_VERSION=1.9.1  
 6   
 7 #扩展版本号  
 8 EXTENS_VERSION=BIN-SCALA_2.12  
 9    
10 #操作系统版本，以centos为例  
11 OS_VERSION=7  
12    
13 #CDH 小版本  
14 CDH_MIN_FULL=5.2  
15 CDH_MAX_FULL=6.3.2  
16    
17 #CDH大版本  
18 CDH_MIN=5  
19 CDH_MAX=6

    3. 执行脚本 ，生成parcel，csd文件(时间有点久，需要耐心等待)

    1 # ./build.sh parcel  #生成parcel文件
2 # ./build.sh csd_on_yarn  #生成csd文件， 会生产一个jar包，FLINK_ON_YARN-1.10.0.jar

    parcel的包在FLINK-1.10.0-BIN-SCALA_2.12_build 文件夹下

    4. 把FLINK_ON_YARN-1.9.1.jar 这个文件放在本地的/opt/cloudera/csd/。CDH服务器识别flink的时候需要用。之后重启

    1 # cp FLINK_ON_YARN-1.9.1.jar /opt/cloudera/csd/    #本地cdh能识别这个软件的目录下

    以下的步骤都是一样，这里单独列出

    1. cloudera manager 配置flink parcel。如果是直接拷贝到本地的，可以不配置。

       

    2. 需要激活flink，要不然无法完成安装 下载—>>分配—>>激活

       

       

       

       


    3. 添加flink服务

    4. 完成配置
    运行flink第一个例子

    1. 运行代码

    2. 1 flink run -m yarn-cluster -yn 4 -yjm 1024 -ytm 1024 /opt/cloudera/parcels/FLINK/lib/flink/examples/streaming/WordCount.jar --input hdfs://192.168.1.110:8020/tmp/word.txt --output hdfs://192.168.1.110:8020/tmp/result

    4. 查看结果

     

    FLINK的界面
     
    yran上的界面

      至此，Flink1.9安装到CDH6.3以及第一个例子介绍完毕。

https://archive.apache.org/dist/flink/flink-1.9.1/

posted @ 2020-02-16 16:36  冷幽篁  阅读(12643)  评论(4)  编辑  收藏  举报