CDH5.12.1将Spark1.6升级到Spark2.2

环境 : CDH5.12.1 

1、参考博客

    软件包下载:    https://www.cnblogs.com/shengyang17/p/12750518.html
    安装步骤:    https://blog.csdn.net/lzxlfly/article/details/83216494

2、软件包下载(再次说明，环境为CDH5.12.1 ，centos7)

a）csd软件

b）Parcels 下载

说明: 机器是centos7所以选择el7；csd和Parcels版本要一样，如spark2.2 cloudera2,不一样，尽管可以加入服务，但是启动会报版本兼容错

3、创建csd目录

将SPARK2_ON_YARN-2.2.0.cloudera2.jar上传到opt/cloudera/csd下，csd目录需要手动创建

4、将其他包放入/opt/cloudera/parcel-repo/下，把原来manifest.json重命名

　　SPARK2-2.2.0.cloudera2-1.cdh5.12.0.p0.232957-el7.parcel
　　SPARK2-2.2.0.cloudera2-1.cdh5.12.0.p0.232957-el7.parcel.sha

　manifest.json

5、重启服务

##停止
/opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent stop

/opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-server stop

##启动
/opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-server start

/opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent start

6、找到主机列表下的Parcel,找到Spark的服务，点击分配、激活。

 

 

 

7、 进行主机添加，其他的步骤就一直点击继续就可以(中间会重启spark依赖的组件服务)

 

 如有问题，欢迎留言.........