CDH6.1.0离线安装——笔记

一、 概述

该文档主要记录大数据平台的搭建CDH版的部署过程，以供后续部署环境提供技术参考。

1.1 主流大数据部署方法

目前主流的hadoop平台部署方法主要有以下三种:

  • Apache hadoop
  • CDH (Cloudera’s Distribution Including Apache Hadoop)
  • HDP (Hortonworks Data Platform)

1.2 部署方法的比较

手工部署: 需要配置太多参数，配置繁琐，建议初学者部署方式

工具部署：比如Ambari和clouder Manger当前两大最主流的集群管理工具，前者是Hortonworks公司，后者是Cloudera公司）使用工具来，可以说是一键操作，难点都在工具Ambari或Cloudera Manger本身部署上。

两种部署方式的优缺点如下表1所示:

表1-1:手工方式和工具部署方式比较

 

内容

手工方式

工具方式

难易度

难，几乎不可能成功

简单 易行

兼容性

自己解决兼容性的问题

自动安装兼容组件

组件支持数

支持全部组件

支持常用组件

优点

对组件和集群管理深刻

简单 容易 可行

缺点

太复杂，不可能成功

屏蔽太多的细节，妨碍对组件的理解

CDH和DHP比较如下表1-2所示

表1-2：CDH和DHP部署方式比较，如表2所示：

 

工具名

所属机构

开源性

社区

易用及稳定性

占有率

Cloudera Manger

Cloudera　　　　　

商用

不支持

易用，稳定

高

Ambari　　　　　　

Hortonwork　　　　　　

开源

支持

较易用，较稳定

较高

二、 各节点环境配置

本节主要描述部署CDH系统环境配置及前期准备工作

2.1 CDH 部署基本要求

  • 机器数：3台
  • 内存：最少2GB（官方建议8GB）
  • 磁盘：100G

2.2 测试环境配置

测试部署环境基本配置，如下表2-1：

表2-1 部署环境基本参数

 

参数

数值

说明

机器数

3台

192.168.8[154,156,157]

内存

20GB

 

磁盘

300G

 

系统

Centos 7.3.1708

 

CDH版本

CDH-6.1.0

CDH目前支持100台免费支持

 

2.3 修改IP和主机名称

修改三台主机节点的名称和ip地址映射。

1) 第一步：修改主机名称(永久生效)

分别在三台主机(192.168.8.154,1192.168.8.156, 192.168.8.157)执行命令:

# hostnamectl set-hostname asiainfo-157

2) 第二步：修改hosts

分别在三台主机(192.168.8.154,1192.168.8.156, 192.168.8.157)执行命令：

# vim /etc/hosts

在文件末尾添加地址映射,务必主机名小写

3) 第三步: 重启网关

# systemctl  restart  network

2.4 关闭防火墙

分别在三台主机节点上执行如下命令关闭防火墙：

# systemctl stop firewalld.service  #停止firewall

# systemctl disable firewalld.service  #禁止firewall开机启动

# firewall-cmd --state  #查看默认防火墙状态（关闭后显示not running，开启后显示running）

2.5 修改内核参数                             

  • 修改transparent_hugepage参数(透明大页面压缩)

修改系统参数，这一参数默认值可能会导致CDH性能下降。

执行如下命令：

# echo never > /sys/kernel/mm/transparent_hugepage/defrag

# echo never > /sys/kernel/mm/transparent_hugepage/enabled

关闭告警：

# echo 'echo never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.d/rc.local

# echo 'echo never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.d/rc.local

# echo "alias ipv6 off" >> /etc/modprobe.d/dist.conf  

# echo "alias net-pf-10 off" >> /etc/modprobe.d/dist.conf

  • 修改swap空间的swappiness=0

该配置的目的为CDH最大限度的使用环境内存，执行如下命名：

# cat  /proc/sys/vm/swappiness 

# sysctl vm.swappiness=0

# echo 0 > /proc/sys/vm/swappiness

关闭告警：

# echo never > /sys/kernel/mm/transparent_hugepage/defrag

2.6 ssh免密码登陆

1）第一步:利用ssh-kegen生成秘钥

# ssh-keygen -t rsa -P ""

2）第二步：在三台主机节点上分别拷贝公钥文件

# cat  ~/.ssh/id_rsa.pub  >>  /root/.ssh/authorized_keys

3) 第三步：将三台主机节点上id_rsa.pub公钥都复制三台节点上的authorized_keys文件中

# vim /root/.ssh/authorized_keys

每个节点上添加如下秘钥内容                                      

# ssh asiainfo-154 // 测试ssh

2.7 时间同步NTP服务器

采用搭建内网NTP服务器，内网服务器通过此NTP服务器进行时间同步

在测试环境中选定主服务器(192.168.8.154),其他服务器(156,157)都同步这台主服务器的时间来使得三台节点的时间同步。

1)  第一步: NTP服务器端配置首先确定服务器的时区正确

# timedatectl                               //查看具体时间时区

# timedatectl  list-timezones                 //查看具所有时区

# timedatectl set-timezone  Asia/Shanghai     //设置时区

2)  第二步: 在三台主机节点上安装ntp服务器端

# yum -y install ntp

3）第三步: 在主服务器上配置NTP

# vim /etc/ntp.conf

a).注意红色部分为需修改部分

driftfile /var/lib/ntp/drift

restrict default nomodify notrap nopeer noquery

restrict 192.168.8.156 nomodify notrap nopeer noquery  ## 本机地址

restrict 127.0.0.1

restrict ::1

restrict 192.168.8.0 mask 255.255.255.0 nomodify notrap #网管地址，限制范围route查看

# server 120.25.115.20 prefer # 优先选择阿里ntp服务

server 127.127.1.0     ## 本机服务

fudge 127.127.1.0 stratum 10

includefile /etc/ntp/crypto/pw

keys /etc/ntp/keys

disable monitor

b) 启动ntp服务

# sudo service ntpd start

c) 查看服务连接与监听端口

 # netstat -tlunp | grep ntp

第一行说明ntp服务已经启动，ntp默认监听123端口。

4）第四步：ntp客户端配置

a) 修改ntp.conf，按照上面的方法配置server为刚才设置的服务器ip，并增加restrict配置（参数nomodify noquery notrap）

# vim /etc/ntp.conf

# 文件内容，修改为红色部分

driftfile /var/lib/ntp/drift

restrict default nomodify notrap nopeer noquery

restrict 192.168.8.154 nomodify notrap nopeer noquery #本机地址

restrict 127.0.0.1

restrict ::1

server 192.168.8.156   ## 服务器地址

Fudge 192.168.8.156 stratum 10

includefile /etc/ntp/crypto/pw

keys /etc/ntp/keys

disable monitor

 

b) 启动ntp服务

# service ntpd start

c) 手动同步

# ntpdate -u 192.168.8.154 

d）查看ntp服务器与上层ntp的状态

# ntpq -p

# ntpstat

4) 第四步: 三台主机节点重启ntp服务并设置为开机启动

# systemctl  ntpd  restart // 重启

# systemctl  ntpd  enable // 开机启动

2.8 mysql 服务器

Mysql安装要求

  • 名称：mysql
  • 版本：5.7.11
  • 系统：cennts 7
  • 部署机器: 192.168.8.156

下载地址: 

#wget http://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.11-linux-glibc2.5-x86_64.tar.gz

1)  第一步：卸载本系统mysql

# rpm -qa | grep -i mysql   查看本地mysql

mysql-libs-5.1.61-4.el6.x86_64

#rpm -e mysql-libs-5.1.61-4.el6.x86_64 --nodeps    卸载mysql

1)  第二步: 解压安装

# tar -zxvf mysql-5.6.33-linux-glibc2.5-x86_64.tar.gz

# cp -r mysql-5.6.33-linux-glibc2.5-x86_64 /usr/local/mysql 复制解压后的指定目录

3)      第三步: linux上添加用户组和用户

#添加用户组

# groupadd mysql

#添加用户mysql 到用户组mysql

# useradd -g mysql mysql

4)      第四步: 创建目录并初始化(注意密码)使用及配置

# cd /usr/local/mysql/

# mkdir ./data/mysql

# chown -R mysql:mysql ./*

# ./bin/mysqld --user=mysql --basedir=/usr/local/mysql/ --datadir=/usr/local/mysql/data/mysql

--initialize

# cat support-files/mysql.server >> /etc/init.d/mysqld 添加到服务项中

 修改启动脚本

# vi /etc/init.d/mysqld

#修改项：

     basedir=/usr/local/mysql/

     datadir=/usr/local/mysql/data/mysql

# chmod 755 /etc/init.d/mysqld

# cp support-files/my-default.cnf /etc/my.cnf  #拷贝配置文件

# vim /etc/my.cnf

添加如下内容：

basedir=/usr/local/mysql/

datadir=/usr/local/mysql/data/mysql

5)  第五步: 加入环境变量，编辑/etc/profile，这样可以在任何地方用mysql命令了

# vim /etc/profile

MYSQL_HOME =/usr/local/mysql/bin

PATH=.:$MYSQL_HOME/bin:$PATH

# source /etc/profile   生效配置文件

6)      第六步: 启动数据库

# service mysqld start    启动mysql

# service mysqld stop    关闭mysql

# service mysqld status   查看运行状态

7)      第七步: root用户授权

# mysql –uroot –p 

  • 给所有主机登录的权限

>GRANT ALL PRIVILEGES ON *.* TO ‘root’@'%’ IDENTIFIED BY ‘123456’;

> flush privileges;

  • 给用户所有表的所有权限

>GRANT ALL PRIVILEGES ON *.* TO ‘root’@'%’ IDENTIFIED BY ‘123456’  WITH GRANT OPTION;

> flush privileges;

2.9 java 运行环境

注意：CDH6安装下载中有oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm安装包

1) 下载java jdk,版本为jdk1.8，注意必须为oracle

下载地址: http://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b8442fe848ef90c96a2fad6ed6d1/jdk-8u181-linux-x64.tar.gz

2)卸载系统自带的jdk

# rpm –qa | grep java

# rpm –e –nodes java-version

3）三个节点上进行解压并安装

# cd /usr/java

注意:一定要安装在这个目录下，如果没有java自己创建java目录，否则后续CDH找不到

# tar zxvf jdk-8u181-linux-x64.tar.gz               

编辑配置环境变量

# vim /etc/profile

JAVA_HOME=/usr/java/jdk1.8.0_181

CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar  ### jps使用

PATH=$JAVA_HOME/bin:$HOME/bin:$HOME/.local/bin

# source /etc/profile

三、CDH部署配置

3.1 CDH安装概述

CDH 安装版本描述

  • Linux版本: centos 7
  • CDH 版本：CDH6.1.0
  • 安装工具：CM6(clouldera manager)
  • 安装方式: 离线/repo源安装，可选择一种

3.2 下载CDH6安装包

CDH6采用的是RPM包进行安装，可到官网下载RPM包进行安装

下面是安装包下载地址

下载CM6.1的安装包

https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.1.0-769885.el7.x86_64.rpm

https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/cloudera-manager-daemons-6.1.0-769885.el7.x86_64.rpm

https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/cloudera-manager-server-6.1.0-769885.el7.x86_64.rpm

https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/cloudera-manager-server-db-2-6.1.0-769885.el7.x86_64.rpm

https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm

https://archive.cloudera.com/cm6/6.1.0/allkeys.asc

 

下载CDH6.1的安装包

https://archive.cloudera.com/cdh6/6.1.0/parcels/CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel

https://archive.cloudera.com/cdh6/6.1.0/parcels/CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel.sha256

https://archive.cloudera.com/cdh6/6.1.0/parcels/manifest.json

 

CDH6.1.0 rpm软件包下载

https://archive.cloudera.com/cdh6/6.1.0/redhat7/yum/RPMS/noarch/

https://archive.cloudera.com/cdh6/6.1.0/redhat7/yum/RPMS/x86_64/

 

3.2.1 rpm包安装

l  下载文件

下载服务地址：https://archive.cloudera.com/cm6/6.1.0/redhat7/yum/RPMS/x86_64/

 

 

下载文件列表：

  • cloudera-manager-agent-6.1.0-769885.el7.x86_64.rpm
  • cloudera-manager-daemons-6.1.0-769885.el7.x86_64.rpm
  • cloudera-manager-server-6.1.0-769885.el7.x86_64.rpm
  • cloudera-manager-server-db-2-6.1.0-769885.el7.x86_64.rpm
  • oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm

下载离线安装地址：https://archive.cloudera.com/cdh6/6.1.0/parcels/

 

 

下载文件列表：

  • CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel
  • CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel.sha256
  • manifest.json

注意：*.sha256中的hash值应该与manifest.json中的一致。

下载mysql驱动

mysql-connector-java-5.1.39.jar

上传到安装包

将服务安装包上传到每台机器目录/opt/cloudera-manager下，没有的创建

# mkdir /opt/cloudera-manager

 

安装服务包(顺序不可变)

  • 安装java包

# rpm –ivh oracle-j2sdk1.8-1.8.0+update141-1.x86_64.rpm
  • 安装daemons包

# rpm -ivh cloudera-manager-daemons-6.1.0-769885.el7.x86_64.rpm
  • 主机上安装server服务

# rpm -ivh cloudera-manager-server-6.1.0-769885.el7.x86_64.rpm
  • 每台机器上安装agent服务

# rpm -ivh cloudera-manager-agent-6.1.0-769885.el7.x86_64.rpm

移动paracel包到parcel-repo、

在安装服务后会自动生成/opt/cloulera/parcel-repo目录，将parcel移动到此目录

# 将三个包移动到/opt/cloulder目录下

# mv  CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel

CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel.sha256

manifest.json  /opt/clouldera/parcel-repo

修改parcel-repo的目录权限

# chmod –R cloudera-scm: cloudera-scm  /opt/clouldera/parcel-repo

 

重名名*.sha256文件为*.sha后缀文件   

# mv CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel.sha256

 CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel.sha

注意：这里*.sha有两个要求，否则无法找到本地parcels目录文件

1)   /opt/cloudera/parcel-repo的目录及子目录的权限为clouldera-scm

2)   CDH-6.1.0-1.cdh6.1.0.p0.770702-el7.parcel.sha中的hash码，必须与manifest.json中的码一致

拷贝到到所有节点目录

# scp -r /opt/cloudera/parcel-repo/*  root@asiainfo-154:/opt/cloudera/parcel-repo

# scp -r /opt/cloudera/parcel-repo/*  root@asiainfo-157:/opt/cloudera/parcel-repo

3.2.2 repo源安装

可用vftp搭建一个ftp服务器来配置repos服务或使用python搭建一个HTTPServer

通过可以联网的机器各类安装包下载

# mkdir -p /var/www/html/cloudera-repos

#wget https://archive.cloudera.com/cm6/6.1.1/allkeys.asc -P /var/www/html/cloudera-repos/cm6/6.1.1/

#wget --recursive --no-parent --no-host-directories https://archive.cloudera.com/gplextras6/6.1.1/redhat7/ -P /var/www/html/cloudera-repos

#wget --recursive --no-parent --no-host-directories https://archive.cloudera.com/cdh6/6.1.1/redhat7/ -P /var/www/html/cloudera-repos

#wget --recursive --no-parent --no-host-directories https://archive.cloudera.com/cm6/6.1.1/redhat7/ -P /var/www/html/cloudera-repos

拷贝到一台网路环境比较好的机器上

将cloudera-repos文件夹，打包拷到内网环境中，因为大小超过4G ,所以可以采用压缩软件分包或者直接用一个NTFS格式的U盘。

# mkdir -p /var/www/html/cloudera-repos

将下载的文件拷贝到此目录下

解压缩，建立rpm包服务器

在内网环境中cd到 cloudera-repos 同级目录

# cd /var/www/html/cloudera-repos

# python -m SimpleHTTPServer 8900 ##搭建一个临时HTTP服务

这里就是一个临时的服务，安装完成CDH所有组件之后，可以ctrl + c 就停止了

每台机器上都配置repo源

删除CenteOS 自带的源，因为你无法访问外网，不删除会报错

# rm -rf /etc/yum.repos.d/Centos*

# vim /etc/yum.repos.d/cloudera-repo.repo

添加yum配置

[cloudera-repo]

name=cloudera-repo

baseurl=http://127.0.0.1:8900/cloudera-repos/cm6/6.1.1/redhat7/yum/ #里面的IP对应的是你的rpm包的服务器ip

enabled=1

gpgcheck=0

在添加一个CDH组件的包源

# vi /etc/yum.repos.d/cloudera-repo-cdh.repo

[cloudera-repo-cdh]

name=cloudera-repo-cdh

baseurl=http://127.0.0.1:8900/cloudera-repos/cdh6/6.1.1/redhat7/yum/

enabled=1

gpgcheck=0

清理 repos 源

Yum clean all

自此，所有的配置都已经结束，开始安装！！！！CM的安装就找集群里面的一台机器安装，成功之后，通过web页面可以可视化的自动把集群中其他机器安装CM服务和CDH组件。

安装服务包

  • 安装JDK

# yum install oracle-j2sdk1.8
  • 所有的master节点

# yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-serve
  • 所有的datanode节点

#yum install cloudera-manager-daemons cloudera-manager-agent

 

3.3 cm中mysql配置

1)  mysql中创建cloudera hadoop,cm 所需的数据库

grant all privileges on *.* to 'root'@'%' identified by '123456';

create database scm default character set utf8 default collate utf8_general_ci;

grant all on scm.* to 'scm'@'%' identified by '123456';

create database amon default character set utf8 default collate utf8_general_ci;

grant all on amon.* to 'amon'@'%' identified by '123456';

create database rman default character set utf8 default collate utf8_general_ci;

grant all on rman.* to 'rman'@'%' identified by '123456';

create database hue default character set utf8 default collate utf8_general_ci;

grant all on hue.* to 'hue'@'%' identified by '123456';

create database metastore default character set utf8 default collate utf8_general_ci;

grant all on metastore.* to 'hive'@'%' identified by '123456';

create database sentry default character set utf8 default collate utf8_general_ci;

grant all on sentry.* to 'sentry'@'%' identified by '123456';

create database nav default character set utf8 default collate utf8_general_ci;

grant all on nav.* to 'nav'@'%' identified by '123456';

create database oozie default character set utf8 default collate utf8_general_ci;

grant all on oozie.* to 'oozie'@'%' identified by '123456';

flush privileges;

 

2)  mysql 驱动放置位置(两个位置)

位置1：

# mv /tmp/mysql-connector-java-5.1.39.jar /opt/cloudera-manager/cm-5.14.2/share/cmf/lib/

位置2：（注意将MySQL包重命名为mysql-connector-java.jar）：

# mv /tmp/mysql-connector-java-5.1.39.jar /tmp/mysql-connector-java.jar

# mv /tmp/mysql-connector-java.jar /usr/share/java/   # 如果没有目录自己创建

3）使用cm初始化mysql（建议在192.168.8.156（主节点）的主机mysql安装机器）

# /opt/cloudera-manager/cm-5.14.2/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm

3.4 cdh rpm依赖包

1) 安装 cdh cdm所需的rpm 包，不安装会出现相关的问题

yum -y install chkconfig

yum -y install python

yum -y install bind-utils

yum -y install psmisc

yum -y install libxslt

yum -y install zlib

yum -y install sqlite

yum -y install cyrus-sasl-plain

yum -y install cyrus-sasl-gssapi

yum -y install fuse

yum -y install portmap

yum -y install fuse-libs

yum -y install redhat-lsb

 

yum -y install bind-utils

yum -y install libxslt

yum -y install sqlite

 

yum -y install cyrus-sasl-plain

yum -y install cyrus-sasl-gssapi

yum -y install fuse

yum -y install fuse-libs

yum -y install httpd

yum -y install mod_ssl

yum -y install openssl-devel

yum -y install python-psycopg2

yum -y install MySQL-python

yum -y install libpq.so.5()(64bit)

3.5 cm中agent和server服务

0）agent节点配置服务

#vim /etc/cloudera-scm-agent/config.ini

 

 

1）主节点执行(192.168.8.156)

启动cloudera-scm-server

# systemctl start cloudera-scm-server

查看启动日志

# tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

2）各子节点(192.168.8.156, 192.168.8.154, 192.168.8.157)

启动cloudera-scm-agent

# systemctl start cloudera-scm-agent

查看启动日志

# tail -f /var/log/cloudera-scm-agent/cloudera-scm-agent.log

3)       查看状态(192.168.8.156)

# systemctl start cloudera-scm-agent

# systemctl start cloudera-scm-server

4)       关闭服务

5)       # systemctl stop  cloudera-scm-agent

6)       # systemctl stop  cloudera-scm-server

5) 开机启动

# systemctl enable cloudera-scm-agent

# systemctl enable cloudera-scm-server

 

3.6 cm中存在的目录汇总

目录

作用

说明

/run/cloudera-scm-agent

Agent服务运行的目录

 

/run/cloudera-scm-agent/process

Agent维护程序目录

 

/run/cloudera-scm-server

Server运行维护目录

 

/etc/cloudera-scm-agent

Agent 配置目录

 

/etc/cloudera-scm-server

Server配置目录

 

/var/lib/cloudera-scm-server

Agent 运行文件目录

 

/var/lib/cloudera-scm-agent

Server 运行文件目录

 

/var/log/cloudera-scm-server

Agent日志文件目录

 

/var/log/cloudera-scm-agent

Server日志文件目录

 

/opt/cloudera

安装文件目录

 

 

四、cm部署CDH集群

4.1 cm 界面化部署

搭建时，忘记截图，就用以前的CHD5的图片吧，操作和界面差不多，撮合看

在浏览器中输入cm地址:,cm登陆地址:

http://192.168.8.156:7180/cmf/home

1)  第一步: 输入cm 地址，可以看到登陆界面

 

CM初始用户和密码为:admin/admin，登陆

2)   第二步: 许可界面，点击同意条款，点击继续，进行下一步

 

3)   第三步：选择cdh的版本

 

cdh提供三个版本:免费版和收费版，此次选择免费版，点击继续

4)   第四步：版权许可声明，点击继续

 

5)    第五步: 指定安装主机 

 

6)    也可以查看当前的主机列表

 

选择主机列表后，点击继续

7)    第六步: 集群安装界面

 

  • 选择方式:使用parcel方式
  • 选择CDH的版本: CHD-6.1.0.p0.1
  • 其他parcel：都选”无”
  • 选择后，点击继续

8)    第七步:集群安装界面，安装时间比较长

 

9)    第八步：集群设置

 

本次安装选择含spark的内核

9） 第九步：集群安装正确性检查

 

如果出现警告标示，可按照提示进行配置。

10)   第十步：集群角色的划分，可选择默认角色分配方案

 

也可查看每台机器中的角色分配情况。

 

设置完毕后，点击继续

11）第十一步：配置和测试数据库连接

  

选择配置好的数据看名称、账号和密码。点击测试连接，如果测试通过，点击继续。如果不通过，可以查看日志文件

# tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

排查错误。

12） 第十二步：集群的自动安装

 

安装进度界面

 

等到集群整个安装完毕后，点击完成。

即可完成整个集群的搭建。

13) 第十三步：集群登陆

 

输入账号和密码admin/admin，点击登录，如果看到下面的界面，集群正确搭建完毕。 

五、CDH 6.X完全卸载步骤

8.1 关闭集群中的所有服务

 这个可以通过clouder manger 主页关闭集群

8.2 卸载

[root@master ~]# systemctl enable cloudera-scm-server 

[root@slave1 ~]#systemctl enable cloudera-scm-agent

[root@slave2~]# systemctl enable cloudera-scm-agent

一下都是所有要卸载的集群均要执行清除工作：

[root@master ~]# umount /var/run/cloudera-scm-agent/process

[root@slave1 ~]# umount /var/run/cloudera-scm-agent/process

[root@slave2 ~]# umount /var/run/cloudera-scm-agent/process

[root@master ~]# rm -rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/x86_64/6/cloudera* /var/log/cloudera* /var/run/cloudera*  /etc/cloudera*  /var/log/hadoop-*

8.3 卸载安装包：

[root@slave1 ~]# rpm -qa | grep cloudera

[root@slave2 ~]# for f in `rpm -qa | grep cloudera `  ; do rpm -e ${f} ; done    #（如果有保存，在执行一遍）

8.4 清除安装文件

# rm -rf /var/lib/hadoop-* /var/lib/impala /var/lib/solr /var/lib/zookeeper /var/lib/hue /var/lib/oozie  /var/lib/pgsql  /var/lib/sqoop2  /data/dfs/  /data/impala/ /data/yarn/  /dfs/ /impala/ /yarn/  /var/run/hadoop-*/ /var/run/hdfs-*/ /usr/bin/hadoop* /usr/bin/zookeeper* /usr/bin/hbase* /usr/bin/hive* /usr/bin/hdfs /usr/bin/mapred /usr/bin/yarn /usr/bin/sqoop* /usr/bin/oozie /etc/hadoop* /etc/zookeeper* /etc/hive* /etc/hue /etc/impala /etc/sqoop* /etc/oozie /etc/hbase* /etc/hcatalog 

//只删除hadoop系列的，不要删除其他软件的，否则其他软件的版本控制会被破坏

[root@master alternatives]# rm -rf ` find /var/lib/alternatives/* ! -name "mta" ! -name "print" ! -name "zlibrary-ui"  -mtime -3` 

[root@master alternatives]# rm -rf /etc/alternatives/* 

8.5. 杀死相关进程：

for u in hdfs mapred cloudera-scm hbase hue zookeeper oozie hive impala flume; do sudo kill $(ps -u $u -o pid=); done

8.6. 删除parcel包分发文件和解压文件

  rm -rf /opt/cloudera

posted @ 2019-04-12 17:12  吊车尾88  阅读(6650)  评论(0)  编辑  收藏  举报