CDH安装详细测试正确
1. CDH简介
简单来说,Cloudera Manager是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具(软件),使得安装集群从几天的时间缩短在几个小时内,运维人员从数十人降低到几人以内,极大的提高集群管理的效率。
2.cloudera manager的功能
1) 管理:对集群进行管理,如添加、删除节点等操作。
2) 监控:监控集群的健康情况,对设置的各种指标和系统运行情况进行全面监控。
3) 诊断:对集群出现的问题进行诊断,对出现的问题给出建议解决方案。
4) 集成:多组件进行整合。
3.cloudera manager的架构
1) Server:负责软件安装、配置,启动和停止服务,管理服务运行的群集。
2) Agent:安装在每台主机上。负责启动和停止的过程,配置,监控主机。
3) Management Service:由一组执行各种监控,警报和报告功能角色的服务。
4) Database:存储配置和监视信息。
5) Cloudera Repository:软件由Cloudera 管理分布存储库。(有点类似Maven的中心仓库)
6) Clients:是用于与服务器进行交互的接口(API和Admin Console)
4. 版本介绍
CDH版本:CDH 5.9.0
找对应版本下载即可:
http://archive.cloudera.com/cm5/cm/5/
cloudera-manager-centos7-cm5.9.0_x86_64.tar.gz
http://archive.cloudera.com/cdh5/parcels/5.9.0/
manifest.json
CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel
CDH-5.9.0-1.cdh5.9.0.p0.23-el6.parcel.sha1
可自行去官网查看CDH中相对相应大数据组件版本号,开发时在maven上添加对应依赖
JDK版本: 1.8
Mysql版本: 5.6.42
Mysql链接包:mysql-connector-java-5.1.46.jar
5. centos环境准备
配置ip
配置免密
防火墙关闭
Selinux关闭
Hostname配置:节点名称 /etc/hostname
添加hosts名称:/etc/hosts
192.168.3.200 node200
192.168.3.201 node201
192.168.3.202 node202
192.168.3.203 node203
内存分配:
1.内存分配
CPU尽量调高,如我机器是16G内存,1T硬盘,三个节点各 200M
内存是:主节点10个G 副节点是4G
2.节点全部配置 JDK1.8环境
1.解压jdk-8u191-linux-x64.tar.gz
tar -zxvf jdk-8u191-linux-x64.tar.gz -C /opt/module
2.配置环境变量
vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.8.0_191
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
export JAVA_HOME=/opt/module/jdk1.8.0_191
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
source /etc/profile
3.安装配置mysql
1.查看centos版本
cat /etc/redhat-release
2.卸载MariaDB (centos7默认自带)
查看当前安装的mariadb包: rpm -qa | grep mariadb
强制卸载: rpm -e --nodeps mariadb-libs-5.5.44-2.el7.centos.x86_64
3. 查看是否已经安装了MySQL
rpm -qa | grep -i mysql
4.查看是否存在mysql残党
find / -name mysql
删除分散mysql文件
find / -name mysql / # whereis mysql
删除配置文档
rm -rf /etc/my.cnf
再次查找机器是否安装mysql
rpm -qa|grep -i mysql
5.mysql 在centos7下的依赖
yum -y install autoconf
yum -y install perl
6.依次安装rpm包
rpm -ivh MySQL-devel-5.6.42-1.el7.x86_64.rpm
rpm -ivh MySQL-server-5.6.42-1.el7.x86_64.rpm
rpm -ivh MySQL-client-5.6.42-1.el7.x86_64.rpm
7.更改密码刷新权限
* cat /root/.mysql_secret 查看默认密码 oHH9dLpWrvWzRcG7
* service mysql start 启动mysql
* chkconfig mysql on mysql开机启动
* mysql -uroot -p 使用默认密码登录
* SET PASSWORD=PASSWORD('000000'); 修改密码
* use mysql; 修改用户权限
* select User, Host, Password from user; 修改user表,把Host表内容修改为%
* update user set host='%' where host='localhost';
* 删除root用户的其他host
* mysql>delete from user where Host='u1';
* mysql>delete from user where Host='127.0.0.1';
* mysql>delete from user where Host='::1';
* 更新权限 grant all privileges on . to 'root'@'%' identified by '123456' with grant option;
* 刷新权限 flush privileges;
配置完整CDH系统
下载第三方依赖:
在三台节点(所有agent的节点)上执行下载第三方依赖
yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb
yum install perl perl-devel --nogpgcheck(跳过公钥)
创建CM用的数据库:
(1)集群监控数据库
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
(2)hive数据库
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
(3)oozie数据库
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
(4)hue数据库
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
CDH安装
导入/opt/software相关的安装包:
mysql-connector-java-5.1.46.jar
mysql-connector-java.jar
manifest.json
CDH-5.16.1-1.cdh5.16.1.p0.3-el6.parcel
CDH-5.16.1-1.cdh5.16.1.p0.3-el6.parcel.sha1
cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz
1、在主节点解压CM安装包至/opt默认目录
tar xvf cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz -C /opt
配置CM的数据库
拷贝mysql jar文件到目录 /usr/share/java/
[root@hadoop102 share]# mkdir /usr/share/java/
[root@hadoop102 cm-5.12.1]# cp /opt/software/mysql-connector-java-5.1.27-bin.jar /usr/share/java/
[root@hadoop102 share]# mv /usr/share/java/mysql-connector-java-5.1.27-bin.jar /usr/share/java/mysql-connector-java.jar
• 注意jar包名称要修改为mysql-connector-java.jar
2、将mysql jdbc driver放入CM的lib中
cp mysql-connector-java-5.1.46.Jar /opt/cm-5.16.1/share/cmf/lib/
3、在主节点(cdh-master)初始化CM数据库
/opt/cm-5.16.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm
4.配置Agnet
修改agnet的配置文件config.ini中的server_host为主节点的主机名(u1-master)
vim/opt/cm-5.14.3/etc/cloudera-scm-agent/config.ini
5.同步Agent到slave[1..3]节点
scp -r /opt/cm-5.16.1/ root@192.168.2.140:/opt/
scp -r /opt/cm-5.16.1/ root@192.168.2.141:/opt/
scp -r /opt/cm-5.16.1/ root@192.168.2.142:/opt/
在所有节点创建cloudera-scm用户
useradd --system --home=/opt/cm-5.16.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
6.把CM文件拷贝到parcel-repo下
[root@hadoop102 cm-5.16.1]# mv /opt/software/CDH-5.16.1-1.cdh5.12.1.p0.3-el6.parcel.sha1 /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha
[root@hadoop102 module]# cp /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha /opt/cloudera/parcel-repo/
[root@hadoop102 module]# cp /opt/software/CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel /opt/cloudera/parcel-repo/
[root@hadoop102 module]# cp /opt/software/manifest.json /opt/cloudera/parcel-repo/
7.在Agent 节点(hadoop102,hadoop103,hadoop104)创建目录/opt/cloudera/parcels节点的安装目录
[root@hadoop102 module]# mkdir -p /opt/cloudera/parcels
[root@hadoop102 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
[root@hadoop103 module]# mkdir -p /opt/cloudera/parcels
[root@hadoop103 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
[root@hadoop104 module]# mkdir -p /opt/cloudera/parcels
[root@hadoop104 module]# chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
注:如果报以下错误,需要yum 对应的命令 which psmic
yum install which --nogpgcheck
8.分发cloudera文件目录
[root@hadoop102 opt]# scp -r /opt/cloudera/ hadoop103:/opt/
[root@hadoop102 opt]# scp -r /opt/cloudera/ hadoop104:/opt/
9.开启服务 必须先启动 Agent 再启动server
1.依次开启 Agent
/opt/cm-5.16.1/etc/init.d/cloudera-scm-agent start
2.主节点开启server
/opt/cm-5.16.1/etc/init.d/cloudera-scm-server start
注意:启动过程非常慢,Manager 启动成功需要等待一段时间,过程中会在数据库中创建对应的表需要耗费一些时间。
[root@hadoop102 init.d]# netstat -anp | grep 7180
tcp 0 0 0.0.0.0:7180 0.0.0.0:* LISTEN 5498/java
查看被占用则表示安装成功了!!!
访问http://hadoop102:7180,(用户名、密码:admin)
安装界面化界面:
详情请见同目录 3.★配置安装界面化CM安装Hadoop生态圈
安装完CDH的组件:
默认配置文件路径:
Hadoop: /etc/hadoop/conf
hbase: /etc/hadoop/conf
hive: /etc/hive/conf
如果hdfs 报错 nn启动不起来,
第一格式化的错误, 需要把hdfs服务停止,然后删除服务,
第二,需要把 /dfs 所有节点的服务都删除掉,然后重新在CDH上创建hdfs
启动完成
缺依赖 报parl common on ,
yum install perl perl-devel --nogpgcheck
安装时:hive hue hbase连接报错多为mysqlconnector 连接jar包未放入lib下