CDH5.12.1将Spark1.6升级到Spark2.2

环境 : CDH5.12.1 

1、参考博客

    软件包下载:    https://www.cnblogs.com/shengyang17/p/12750518.html
    安装步骤:    https://blog.csdn.net/lzxlfly/article/details/83216494

2、软件包下载(再次说明,环境为CDH5.12.1 ,centos7)

a)csd软件

b)Parcels 下载

说明: 机器是centos7所以选择el7;csd和Parcels版本要一样,如spark2.2 cloudera2,不一样,尽管可以加入服务,但是启动会报版本兼容错

3、创建csd目录

将SPARK2_ON_YARN-2.2.0.cloudera2.jar上传到opt/cloudera/csd下,csd目录需要手动创建

4、将其他包放入/opt/cloudera/parcel-repo/下,把原来manifest.json重命名

  SPARK2-2.2.0.cloudera2-1.cdh5.12.0.p0.232957-el7.parcel
  SPARK2-2.2.0.cloudera2-1.cdh5.12.0.p0.232957-el7.parcel.sha

 manifest.json

5、重启服务

##停止
/opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent stop

/opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-server stop

##启动
/opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-server start

/opt/module/cm/cm-5.12.1/etc/init.d/cloudera-scm-agent start

6、找到主机列表下的Parcel,找到Spark的服务,点击分配、激活。

 

 

 

7、 进行主机添加,其他的步骤就一直点击继续就可以(中间会重启spark依赖的组件服务)

 

 如有问题,欢迎留言.........

 

posted @ 2020-10-22 18:13  小白啊小白,Fighting  阅读(330)  评论(0编辑  收藏  举报