cdh6集成外部组件之flink

环境说明:
cdh版本:cdh6.3.2

组件版本信息如下:

组件	版本
Cloudera Manager	6.3.1
Flume	1.9.0+cdh6.3.2
Hadoop	3.0.0+cdh6.3.2
HBase	2.1.0+cdh6.3.2
Hive	2.1.1+cdh6.3.2
Hue	4.2.0+cdh6.3.2
Impala	3.2.0+cdh6.3.2
Kafka	2.2.1+cdh6.3.2
Solr	7.4.0+cdh6.3.2
spark	2.4.0+cdh6.3.2
Sqoop	1.4.7+cdh6.3.2
ZooKeeper	3.4.5+cdh6.3.2

一.下载flink,并制作parcel包

1.相关资源下载

1.1) flink下载地址: https://archive.apache.org/dist/flink/flink-1.12.0/flink-1.12.0-bin-scala_2.12.tgz
1.2) parcel制作工具：https://github.com/pkeropen/flink-parcel.git
1.3) cm验证工具:https://github.com/cloudera/cm_ext.git

说明: 需要用到maven,unzip,确保已安装并配置mvn环境变量,我这里linux可以访问外网,正常企业集群服务器是不能连接外网的,需要提前下载上面的两个工具和flink.或者在可连外网的服务器生成parcel和csd jar后再上传cdh集群服务器

2.制作parcel

将flink-parcel下载到linux上:

可以看到红色框起来的文件及文件夹,给build.sh添加执行权限

第一步:修改配置

修改flink-parcel.properties为以下内容:
#flink版本号
FLINK_VERSION=1.12.0

#扩展版本号
EXTENS_VERSION=BIN-SCALA_2.12

#操作系统版本，以centos为例
OS_VERSION=7

#CDH 小版本
CDH_MIN_FULL=5.2
CDH_MAX_FULL=6.3.3

#CDH大版本
CDH_MIN=5
CDH_MAX=6

第二步:上传安装包和cm验证工具,修改脚本并执行parcel生成脚本

cd /soft/flink-parcel/

#执行脚本时会在github上下载工具,有时候连接不上github会导致脚本报错,我是提前将cm_ext和flink-1.12.0-bin-scala_2.12.tgz下载好,并放在/soft/flink-parcel/目录下
文件夹名得改成图片一样.

即上面截图中的蓝色框框中的部分

./build.sh parcel
执行完成之后会生成FLINK-1.12.0-BIN-SCALA_2.12_build目录:
里面就包含了三个文件:
FLINK-1.12.0-BIN-SCALA_2.12-el7.parcel
FLINK-1.12.0-BIN-SCALA_2.12-el7.parcel.sha
manifest.json

./build.sh csd_on_yarn
执行完回生成FLINK_ON_YARN-1.12.0.jar文件

二.安装flink

1. 方式一,制作yum源,配置parcel远程仓库

cd /var/www/html

mkdir flink1.12.0
cp /soft/flink-parcel/FLINK-1.12.0-BIN-SCALA_2.12_build/* flink1.12.0/
cd flink1.12.0
createrepo .
cd /etc/yum.repo.d
vim flink.repo
#添加以下内容,并保存退出
[flink]
name=flink,Version 1.12.0
baseurl=http://192.168.127.111/flink1.12.0/
enable=1
gpgcheck=0

2.添加flink远程库

3.方式二parcel包放入本地仓库文件夹并修改用户和组

cd /opt/cloudera/parcel-repo
mv manifest.json manifest.json.bak
cp /var/www/html/flink1.12.0/FLINK.* /var/www/html/flink1.12.0/manifest.json ./
chown cloudera-scm. ./*

4.将jar包放入csd文件夹,并修改用户和组

cp /soft/flink-parcel/FLINK_ON_YARN-1.12.0.jar /opt/cloudera/csd/
cd /opt/cloudera/csd/
chown cloudera-scm. FLINK_ON_YARN-1.12.0.jar

4.并分发激活

下载分发

点击激活按钮,显示已激活

5.安装flink

添加服务中选择添加flink

测试flink: