亲测实用的CDH安装部署--Master
CDH master 安装文档
集群安装的依赖软件
1、JDK的安装包
2、MYSQL的安装包
3、CDH相关安装包
4、虚拟机准备
约定：
1，本教程中的软件版本可能与读者的版本不一致，请注意自行修改
2，针对LINUX系统版本为 Centos 7
3，不要使用拷贝ppt代码，后果自负
JDK的安装
1，查看本地是否存在JDK，执行SHELL命令 java –version
Centos可能包含如下信息
java version "1.7.0_75" OpenJDK Runtime Environment (rhel-2.5.4.2.el7_0-x86_64 u75-b13) OpenJDK 64-Bit Server VM (build 24.75-b04, mixed mode)
2，如果不存在，略过。如果存在需要进行卸载
执行如下：rpm -qa | grep jdk
返回如下：
java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64
java-1.7.0-openjdk-headless-1.7.0.75-2.5.4.2.el7_0.x86_64
rpm -e --nodeps 加上返回的结果
3，安装JDK
rpm -ivh jdk-8u101-linux-x64.rpm
修改节点服务器配置
有关配置hostname、selinux关闭，防火墙关闭 hostname修改
1，执行命令如下：vi /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=master
2，执行命令如下：vi /etc/hostname
删除文件内容
输入如下 master
3，修改HOST映射，执行命令如下：vi /etc/hosts
ipDress1 master
ipDress2 slave1
ipDress3 slave2
ipDress1, ipDress2, ipDress3分别为master, slave1, slave2服务器IP地址
修改节点服务器配置
有关配置hostname、selinux关闭，防火墙关闭 hostname修改
4，selinux关闭，执行命令如下：vim /etc/sysconfig/selinux
修改SELINUX=disabled
5, 重启虚拟机，执行命令：reboot
更改防火墙配置
依次执行命令如下：
systemctl stop firewalld
systemctl disable firewalld
systemctl status firewalld
执行完显示如下：
firewalld.service - firewalld - dynamic firewall daemon
Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled)
Active: inactive (dead)
安装时间同步服务
为什么需要时间同步？思考题
安装步骤如下：
1，执行命令如下：yum -y install ntp
2，安装完成过后执行：vi /etc/ntp.conf
注释掉所有server *.*.*的指向，新添加一条可连接的ntp服务器(百度一下ntp服务器，我选的是上海交大的)
server ntp1.aliyun.com iburst
启动时间同步服务service ntpd start
执行命令 ntpdate -u ntp1.aliyun.com
重启时间同步服务 service ntpd restart
通过ntpstat查看 当前时间同步状态
显示：
synchronised to NTP server (120.25.115.19) at stratum 3
time correct to within 1043 ms
polling server every 64 s
SSH无密码登录配置
为什么需要无密码登陆？思考题
依次执行命令如下
ssh-keygen -t rsa 一直使用默认
ssh-copy-id ipDress1
ssh-copy-id ipDress2
ipDress1和ipDress2分别为从节点slave1和slave2的IP地址
安装MYSQL数据库
为什么需要MYSQL数据库？思考题
1，查看是否已经安装MYSQL执行命令如下：rpm -qa | grep mariadb
2，如果存在 执行卸载 yum remove mariadb-libs 或者yum remove mariadb
3，安装MYSQL依赖：
yum install -y perl-Module-Install.noarch
yum install -y MySQL-python
4，安装MYSQL
依次执行命令如下：
unzip **.zip
进入解压目录 yum install –y net-tools
rpm -qa | grep mariadb
存在 yum remove mariadb-libs
rpm -ivh **.rpm
配置MYSQL
1，修改配置文件路径：cp /usr/share/mysql/my-default.cnf /etc/my.cnf
2，在配置文件中增加以下配置并保存：vim /etc/my.cnf
default-storage-engine = innodb
innodb_file_per_table
collation-server = utf8_general_ci
init-connect = 'SET NAMES utf8'
character-set-server = utf8
3，初始化数据库执行：/usr/bin/mysql_install_db
4，开启MYSQL服务：service mysql restart
5，查看mysql root初始化密码：cat /root/.mysql_secret
6，登陆mysql ： mysql -u root -p
复制root的初始密码
（MYSQL下执行）SET PASSWORD=PASSWORD('123456');
7，（LINUX下执行）开启开机启动：chkconfig mysql on
8，（LINUX下执行）拷贝mysql-connector-java-5.1.25-bin.jar到/usr/share/java/mysql-connector-java.jar (如果不存在，需要创建)
配置MYSQL
9，创建数据库：依次执行命令（MYSQL下执行）
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
use mysql;
grant all on *.* to root@'master' Identified by '123456';
flush privileges;
重点来啦
安装Cloudera-Manager
一、解压cm tar包到指定目录
mkdir /opt/cloudera-manager
tar -zxvf cloudera-manager-centos7-cm5.11.1_x86_64.tar.gz -C /opt/cloudera-manager
二、创建cloudera-scm用户
useradd --system --home=/opt/cloudera-manager/cm-5.11.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
三、在主节点创建cloudera-manager-server的本地元数据保存目录
mkdir /var/cloudera-scm-server
chown cloudera-scm:cloudera-scm /var/cloudera-scm-server
chown cloudera-scm:cloudera-scm /opt/cloudera-manager
四、配置从节点cloudera-manger-agent指向主节点服务器
vim /opt/cloudera-manager/cm-5.11.1/etc/cloudera-scm-agent/config.ini
将server_host改为CMS所在的主机名即master
主节点中创建parcel-repo仓库目录
1、mkdir -p /opt/cloudera/parcel-repo
2、chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
3、cp CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel CDH-5.11.1-1.cdh5.11.1.p0.4-el7.parcel.sha manifest.json /opt/cloudera/parcel-repo
注意：其中CDH-5.11.1-1.cdh5.11.1.p0.18-el5.parcel.sha1 后缀要把1去掉
所有节点创建parcels目录
mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
解释：Clouder-Manager将CDHs从主节点的/opt/cloudera/parcel-repo目录中抽取出来，分发解压激活到各个节点的/opt/cloudera/parcels目录中
初始脚本配置数据库
执行命令如下：
/opt/cloudera-manager/cm-5.11.1/share/cmf/schema/scm_prepare_database.sh mysql -hmaster -uroot -p123456 --scm-host master scmdbn scmdbu scmdbp
---------------
说明：这个脚本就是用来创建和配置CMS需要的数据库的脚本。各参数是指：
mysql：数据库用的是mysql，如果安装过程中用的oracle，那么该参数就应该改为oracle。
-hmaster：数据库建立在hadoop1主机上面。也就是主节点上面。
-uroot：root身份运行mysql。-123456：mysql的root密码是***。
--scm-host master：CMS的主机，一般是和mysql安装的主机是在同一个主机上。
最后三个参数是：数据库名，数据库用户名，数据库密码
启动主节点CLOUDERA SCM SERVER
执行命令如下：
cp /opt/cloudera-manager/cm-5.11.1/etc/init.d/cloudera-scm-server /etc/init.d/cloudera-scm-server
修改变量路径
vim /etc/init.d/cloudera-scm-server
将CMF_DEFAULTS=${CMF_DEFAULTS:-/etc/default}改为=/opt/cloudera-manager/cm-5.11.1/etc/default
chkconfig cloudera-scm-server on
启动主节点CLOUDERA SCM SERVER
执行命令如下：
mkdir /opt/cloudera-manager/cm-5.6.0/run/cloudera-scm-agent
cp /opt/cloudera-manager/cm-5.6.0/etc/init.d/cloudera-scm-agent /etc/init.d/cloudera-scm-agent
修改变量路径
vim /etc/init.d/cloudera-scm-agent
将CMF_DEFAULTS=${CMF_DEFAULTS:-/etc/default}改为=/opt/cloudera-manager/cm-5.6.0/etc/default
然后执行
service cloudera-scm-agent start
chkconfig cloudera-scm-agent on
service cloudera-scm-server start
可能会出现:JAVA_HOME is not set异常信息，解决方法 /etc/init.d/cloudera-scm-server 文件中加入配置: export =/opt/jdk
等待SERVER 与 AGENT节点的启动完成
视机器配置的高低影响，启动时间不定。
打开fire fox或者chrome ，输入网址
进入（自己的IP地址）192.168.160.130:7180 默认使用admin admin登录
恭喜你，成功进入管理页面啦！
下一篇 ：《CDH slave安装》：https://www.cnblogs.com/henyu/p/9025985.html
