CDH安装详细测试正确

1. CDH简介

简单来说,Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具(软件),使得安装集群从几天的时间缩短在几个小时内,运维人员从数十人降低到几人以内,极大的提高集群管理的效率。

2.cloudera manager的功能

1) 管理:对集群进行管理,如添加、删除节点等操作。

2) 监控:监控集群的健康情况,对设置的各种指标和系统运行情况进行全面监控。

3) 诊断:对集群出现的问题进行诊断,对出现的问题给出建议解决方案。

4) 集成:多组件进行整合。

 

 

 

 

3.cloudera manager的架构

1) Server:负责软件安装、配置,启动和停止服务,管理服务运行的群集。

2) Agent:安装在每台主机上。负责启动和停止的过程,配置,监控主机。

3) Management Service:由一组执行各种监控,警报和报告功能角色的服务。

4) Database:存储配置和监视信息。

5) Cloudera Repository:软件由Cloudera 管理分布存储库。(有点类似Maven的中心仓库)

6) Clients:是用于与服务器进行交互的接口API和Admin Console)

 

 

 

 

 

 

4. 版本介绍

CDH版本:CDH 5.9.0

找对应版本下载即可:

http://archive.cloudera.com/cm5/cm/5/

cloudera-manager-centos7-cm5.9.0_x86_64.tar.gz

http://archive.cloudera.com/cdh5/parcels/5.9.0/

manifest.json

CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel

CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1

 

 

 

 可自行去官网查看CDH中相对相应大数据组件版本号,开发时在maven上添加对应依赖

JDK版本:  1.8

Mysql版本: 5.6.42

Mysql链接包:mysql-connector-java-5.1.46.jar

 

 

 

5. centos环境准备

配置ip

配置免密

防火墙关闭

Selinux关闭

Hostname配置:节点名称  /etc/hostname

添加hosts名称:/etc/hosts

192.168.3.200 node200

192.168.3.201 node201

192.168.3.202 node202

192.168.3.203 node203

 

内存分配:

 

1.内存分配

CPU尽量调高,如我机器是16G内存,1T硬盘,三个节点各 200M 

内存是:主节点10个G  副节点是4G

 

2.节点全部配置 JDK1.8环境

1.解压jdk-8u191-linux-x64.tar.gz

tar -zxvf jdk-8u191-linux-x64.tar.gz -C /opt/module    

 

2.配置环境变量 

vi /etc/profile

 

export JAVA_HOME=/usr/java/jdk1.8.0_191

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

 

export JAVA_HOME=/opt/module/jdk1.8.0_191

export JRE_HOME=${JAVA_HOME}/jre

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

export PATH=${JAVA_HOME}/bin:$PATH

 

 

source  /etc/profile

 

 

3.安装配置mysql

1.查看centos版本

  cat /etc/redhat-release

2.卸载MariaDB (centos7默认自带)

  查看当前安装的mariadb包: rpm -qa | grep mariadb

  强制卸载: rpm -e --nodeps mariadb-libs-5.5.44-2.el7.centos.x86_64

3. 查看是否已经安装了MySQL

  rpm -qa | grep -i mysql

 

4.查看是否存在mysql残党

  find / -name mysql

 

   删除分散mysql文件

   find / -name mysql / # whereis mysql

   删除配置文档

   rm -rf /etc/my.cnf

   再次查找机器是否安装mysql

   rpm -qa|grep -i mysql

 

5.mysql 在centos7下的依赖

yum -y install autoconf 

yum -y install perl

 

6.依次安装rpm包

rpm -ivh MySQL-devel-5.6.42-1.el7.x86_64.rpm

rpm -ivh MySQL-server-5.6.42-1.el7.x86_64.rpm

rpm -ivh MySQL-client-5.6.42-1.el7.x86_64.rpm

 

7.更改密码刷新权限

* cat /root/.mysql_secret 查看默认密码 oHH9dLpWrvWzRcG7

* service mysql start 启动mysql

* chkconfig mysql on    mysql开机启动

* mysql -uroot -p 使用默认密码登录

* SET PASSWORD=PASSWORD('000000'); 修改密码

* use mysql; 修改用户权限

* select User, Host, Password from user; 修改user表,把Host表内容修改为%

* update user set host='%' where host='localhost';

* 删除root用户的其他host

* mysql>delete from user where Host='u1';

* mysql>delete from user where Host='127.0.0.1';

* mysql>delete from user where Host='::1';

* 更新权限 grant all privileges on . to 'root'@'%' identified by '123456' with grant option;

* 刷新权限 flush privileges;

 

 

 

 

配置完整CDH系统

 

 

 

下载第三方依赖:

在三台节点(所有agent的节点)上执行下载第三方依赖

yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

 

yum install perl perl-devel --nogpgcheck(跳过公钥)

 

 

创建CM用的数据库:

1)集群监控数据库

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

 

2)hive数据库

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

 

3)oozie数据库

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

 

4)hue数据库

create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

 

 

CDH安装

 

导入/opt/software相关的安装包:

mysql-connector-java-5.1.46.jar

mysql-connector-java.jar

manifest.json

CDH-5.16.1-1.cdh5.16.1.p0.3-el6.parcel

CDH-5.16.1-1.cdh5.16.1.p0.3-el6.parcel.sha1

cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz

 

1、在主节点解压CM安装包至/opt默认目录

tar xvf cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz  -C /opt

 

配置CM的数据库

拷贝mysql jar文件到目录 /usr/share/java/

[root@hadoop102 share]# mkdir /usr/share/java/

[root@hadoop102 cm-5.12.1]# cp /opt/software/mysql-connector-java-5.1.27-bin.jar /usr/share/java/

[root@hadoop102 share]# mv /usr/share/java/mysql-connector-java-5.1.27-bin.jar /usr/share/java/mysql-connector-java.jar

• 注意jar包名称要修改为mysql-connector-java.jar

 

 

2、将mysql jdbc driver放入CM的lib中

cp mysql-connector-java-5.1.46.Jar  /opt/cm-5.16.1/share/cmf/lib/

 

3、在主节点(cdh-master)初始化CM数据库

/opt/cm-5.16.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm

4.配置Agnet

修改agnet的配置文件config.ini中的server_host为主节点的主机名(u1-master)

 

vim/opt/cm-5.14.3/etc/cloudera-scm-agent/config.ini

5.同步Agent到slave[1..3]节点

scp -r /opt/cm-5.16.1/ root@192.168.2.140:/opt/

scp -r /opt/cm-5.16.1/ root@192.168.2.141:/opt/

scp -r /opt/cm-5.16.1/ root@192.168.2.142:/opt/

 在所有节点创建cloudera-scm用户

useradd --system --home=/opt/cm-5.16.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

 

 

6.把CM文件拷贝到parcel-repo下

[root@hadoop102 cm-5.16.1]# mv /opt/software/CDH-5.16.1-1.cdh5.12.1.p0.3-el6.parcel.sha1 /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha

 

[root@hadoop102 module]# cp /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha /opt/cloudera/parcel-repo/

 

[root@hadoop102 module]# cp /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel /opt/cloudera/parcel-repo/

 

[root@hadoop102 module]# cp /opt/software/manifest.json /opt/cloudera/parcel-repo/

 

 

7.在Agent 节点(hadoop102,hadoop103,hadoop104)创建目录/opt/cloudera/parcels节点的安装目录

[root@hadoop102 module]# mkdir -p /opt/cloudera/parcels

[root@hadoop102 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

 

[root@hadoop103 module]# mkdir -p /opt/cloudera/parcels

[root@hadoop103 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

 

[root@hadoop104 module]# mkdir -p /opt/cloudera/parcels

[root@hadoop104 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

 

注:如果报以下错误,需要yum 对应的命令    which    psmic

 

      yum install which --nogpgcheck

 

 

 

8.分发cloudera文件目录

[root@hadoop102 opt]# scp -r /opt/cloudera/ hadoop103:/opt/

[root@hadoop102 opt]# scp -r /opt/cloudera/ hadoop104:/opt/

 

 

9.开启服务 必须先启动  Agent   再启动server

1.依次开启 Agent

/opt/cm-5.16.1/etc/init.d/cloudera-scm-agent start

2.主节点开启server

/opt/cm-5.16.1/etc/init.d/cloudera-scm-server start

 

 

注意:启动过程非常慢,Manager 启动成功需要等待一段时间,过程中会在数据库中创建对应的表需要耗费一些时间。

[root@hadoop102 init.d]# netstat -anp | grep 7180

tcp        0      0 0.0.0.0:7180                0.0.0.0:*                   LISTEN      5498/java

 

查看被占用则表示安装成功了!!!

 

访问http://hadoop102:7180,(用户名、密码:admin)

 

 

 

 

 

 

 

 

 

 

 

 

 

 

安装界面化界面:

 

详情请见同目录  3.★配置安装界面化CM安装Hadoop生态圈

 

安装完CDH的组件:

默认配置文件路径:

Hadoop: /etc/hadoop/conf

hbase: /etc/hadoop/conf

hive: /etc/hive/conf

 

如果hdfs  报错  nn启动不起来,

第一格式化的错误, 需要把hdfs服务停止,然后删除服务,

第二,需要把 /dfs 所有节点的服务都删除掉,然后重新在CDH上创建hdfs

启动完成

 

缺依赖   报parl   common on  ,   

yum install perl perl-devel --nogpgcheck

 安装时:hive hue hbase连接报错多为mysqlconnector 连接jar包未放入lib下

 

 

posted @ 2020-01-19 10:41  一颗小白菜灬  阅读(1007)  评论(0编辑  收藏  举报