cdh-5.10.0搭建安装
1.修改主机名为master, slave1, slave2
vim /etc/sysconfig/network
HOSTNAME = master
HOSTNAME = slave1
HOSTNAME = slave2
2.修改hosts文件（三个节点都要设置）
vim /etc/hosts
192.168.1.7 master
192.168.1.8 slave1
192.168.1.9 slave2
3.IP设置（三个节点都要设置）
DEVICE=eth0
HWADDR=4C:CC:6A:54:0B:D0
TYPE=Ethernet
UUID=0d5eac54-f26f-430e-8c7a-d2abea4df79e
ONBOOT=yes
NM_CONTROLLED=yes
BOOTPROTO=static
IPADDR=192.168.1.7
GATEWAY=192.168.1.1
NETMASK=255.255.255.0
DNS1=114.114.114.114
DNS2=8.8.8.8
4.Selinux（三台机器都要设置）
service iptables stop
禁用
sudo vim /etc/sysconfig/selinux
内容：
SELINUX=disabled
service iptables status
5.卸载与安装jdk（三台机器都要设置）
卸载：
sudo rpm -qa|grep java
sudo rpm -e --nodeps xxx yyy zzz
安装：
jdk-7u79-linux-x64.gz
tar zxf jdk-7u79-linux-x64.gz
修改配置
vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.7.0_79
export JAVA_BIN=/usr/java/jdk1.7.0_79/bin
export PATH=$PATH:$JAVA_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME JAVA_BIN PATH CLASSPATH
初始化：
source /etc/profile
6.ssh免密码登录（三台机器都要设置）
ssh-keygen
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
去掉三行注释
vim /etc/ssh/sshd_config
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile .ssh/authorized_keys
设置免密码
# cat ~/.ssh/id_rsa.pub | ssh master "cat - >> ~/.ssh/authorized_keys"
# cat ~/.ssh/id_rsa.pub | ssh slave1 "cat - >> ~/.ssh/authorized_keys"
# cat ~/.ssh/id_rsa.pub | ssh slave2 "cat - >> ~/.ssh/authorized_keys"
7.设置NTP服务
1)检查是否安装ntp服务器：rpm -q ntp
2)ntp安装
yum -y install ntp
service ntpd status
chkconfig ntpd on
安装完成后配置NTP服务为自启动：
chkconfig ntpd on
chkconfig ntpdate on
查看服务器自启动状态
chkconfig --list | grep ntp
ntpd 0:关闭 1:关闭 2:启用 3:启用 4:启用 5:启用 6:关闭
ntpdate 0:关闭 1:关闭 2:启用 3:启用 4:启用 5:启用 6:关闭
配置参数：
vim /etc/ntp.conf
restrict 192.168.1.7 mask 255.255.255.0 nomodify notrap
server 192.168.1.7 perfer
server 127.127.1.0 # local clock
fudge 127.127.1.0 stratum 10
注销：
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
重启ntp
service ntpd restart
检查ntp
ntpstat
同步cmserver时间
ntpdate -u 192.168.1.7
8.搭建MySQL数据库
检查是否安装
rpm -qa | grep -i mysql
卸载
yum -y remove mysql-libs*
安装mysql
cd /usr/sg/mysql
rpm -ivh MySQL-server-5.6.29-1.el6.x86_64.rpm
rpm -ivh MySQL-devel-5.6.29-1.el6.x86_64.rpm
rpm -ivh MySQL-client-5.6.29-1.el6.x86_64.rpm
修改配置文件位置
cp /usr/share/mysql/my-default.cnf /etc/my.cnf
初始化mysql及设置密码
/usr/bin/mysql_install_db
启动
service mysql start
cat /root/.mysql_secret #查看root账号密码
登陆
mysql -uroot –pqKTaFZnl
修改密码
SET PASSWORD = PASSWORD('root1234');
重新登陆
mysql -uroot -proot1234
创建数据库：
> create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
> create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
> create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
> create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
设置远程登陆
grant all privileges on *.* to 'root'@'%' identified by 'root1234' with grant option;
生效
flush privileges;
9.下载安装包：
cm下载
https://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.10.0_x86_64.tar.gz
cdh下载
http://archive.cloudera.com/cdh5/parcels/5.10.0/CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel
http://archive.cloudera.com/cdh5/parcels/5.10.0/CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha1
http://archive.cloudera.com/cdh5/parcels/5.10.0/manifest.json
10.安装cm
Master：
cp /usr/sg/cm/cloudera-manager-el6-cm5.10.0_x86_64.tar.gz /opt
tar zxf cloudera-manager-el6-cm5.10.0_x86_64.tar.gz
拷贝mysql的jdbc驱动包到/opt/cm-5.10.0/share/cmf/lib
所有节点创建Cloudera SCM User用户
useradd --system --home=/opt/cm-5.10.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
Master上初始化数据库
/opt/cm-5.10.0/share/cmf/schema/scm_prepare_database.sh mysql cm - -h192.168.1.7 -uroot -proot1234 --scm-host 192.168.1.7 scm scm scm
Master上修改Agent配置
vi /opt/cm-5.10.0/etc/cloudera-scm-agent/config.ini
修改server_host为master
同步Agent到其他节点
scp -r /opt/cm-5.10.0 root@slave1:/opt/ &
scp -r /opt/cm-5.10.0 root@slave2:/opt/ &
准备parcles(master)
mv CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel /opt/cloudera/parcel-repo/
mv CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha1 /opt/cloudera/parcel-repo/
mv manifest.json /opt/cloudera/parcel-repo/
重命名sha文件（master）
mv CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha1 CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha
启动master上的server
/opt/cm-5.10.0/etc/init.d/cloudera-scm-server start
设为开机启动 vi /etc/rc.local（master）
/opt/cm-5.10.0/etc/init.d/cloudera-scm-server start
Master，slave1，slave2启动agent
/opt/cm-5.10.0/etc/init.d/cloudera-scm-agent start
设为开机启动 vi /etc/rc.local（每台机）
/opt/cm-5.10.0/etc/init.d/cloudera-scm-agent start
访问web页面http://192.168.1.7:7180
默认用户名/密码: admin/admin
11.常见问题
（1）Cloudera 建议将 /proc/sys/vm/swappiness 设置为 10。当前设置为 60。使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf 以在重启后保存该设置。您可以继续进行安装，但可能会遇到问题，Cloudera Manager 报告您的主机由于交换运行状况不佳。以下主机受到影响：
解决：echo 10 > /proc/sys/vm/swappiness
（2）
已启用“透明大页面”，它可能会导致重大的性能问题。版本为“CentOS release 6.7 (Final)”且发行版为“2.6.32-573.el6.x86_64”的 Kernel 已将 enabled 设置为“[always] madvise never”，并将 defrag 设置为“[always] madvise never”。请运行“echo never > /sys/kernel/mm/transparent_hugepage/defrag”以禁用此设置，然后将同一命令添加到一个 init 脚本中，如 /etc/rc.local，这样当系统重启时就会予以设置。或者，升级到 RHEL 6.5 或更新版本，它们不存在此错误。将会影响到以下主机：
解决：
方法2：设置/etc/rc.local文件
[root@getlnx06 ~]# vi /etc/rc.local
#!/bin/sh
#
# This script will be executed *after* all the other init scripts.
# You can put your own initialization stuff in here if you don't
# want to do the full Sys V style init stuff.
touch /var/lock/subsys/local
if test -f /sys/kernel/mm/redhat_transparent_hugepage/enabled; then
echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
fi
使用上面的配置后必须重启操作系统才能生效，你也可以运行下面命令不用重启操作系统。
You must reboot your system for the setting to take effect, or run the following two echo lines to proceed with the install without rebooting:
[root@getlnx06~]#echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
[root@getlnx06~]#cat /sys/kernel/mm/redhat_transparent_hugepage/enabled
always madvise [never]
[root@getlnx06 ~]#
Hive 缺失mysql驱动jar无法正常启动
Oozie缺失mysql驱动jar无法正常启动
将mysql-connector-java-5.1.36-bin.jar 拷贝到/var/lib/oozie
---恢复内容结束---
