Centos7安装CDH（1、环境配置）

1. CDH的下载

以CentOS7.5和CDH5.7.0举例：

1.1. cm的tar包下载

下载地址：http://archive.cloudera.com/cm5/repo-as-tarball/5.7.0/cm5.7.0-centos7.tar.gz

 

请选择需要的版本。

1.2. parcels包下载

下载地址：http://archive.cloudera.com/cdh5/parcels/5.7.0/

 

请选择对应的版本，el7，并将后缀.sha1更改为.sha。

1.3.安装JDK（所有服务器都用）

1. 创建文件夹

   mkdir -p /usr/local/src/jdk

   cd /usr/local/src/jdk

    

2. 查看安装程序

   rpm -qa | grep -i jdk

   若之前安装过jdk，下次安装一定把之前的删除干净

3. 下载jdk包

   wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie"  http://download.oracle.com/otn-pub/java/jdk/8u131-b11/d54c1d3a095b4ff2b6607d096fa80163/jdk-8u131-linux-x64.tar.gz

   vi /etc/resolv.conf，编辑dns服务器，nameserver 114.114.114.114（这是国内的dns服务器系统，还是比较好用的。谷歌的可以使用8.8.8.8）  

   如果报错-bash: wget: command not found。执行命令

4. yum -y install wget

    

5. 解压

   tar -zxvf jdk-8u131-linux-x64.tar.gz
   

   重命名

   mv jdk1.8.0_131  jdk1.8

    

6. 配置环境变量

   vi /etc/profile

   拉到最下面将以下代码粘贴进去

   export JAVA_HOME=/usr/local/src/jdk/jdk1.8
   export PATH=$PATH:$JAVA_HOME/bin
   export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

   wq保存退出执行以下命令让它生效

   source /etc/profile

   java -version验证是否生效

2. 准备工作，没有特别说明所有服务器都要做

1. 主机重命名并配置hosts

   执行命令
   echo "bigdata0*.tfpay.com" > /etc/hostname
   echo "192.168.99.57    bigdata01.tfpay.com    bigdata01" >> /etc/hosts
   echo "192.168.99.58    bigdata02.tfpay.com    bigdata02" >> /etc/hosts
   echo "192.168.99.59    bigdata03.tfpay.com    bigdata03" >> /etc/hosts
   
   重启
   reboot
   
   检查，看看主机名称是否更改
   hostname

    

2. 关闭防火墙，并重启服务器使hostname和selinux的配置生效

   systemctl stop firewalld
   systemctl disable firewalld
   systemctl status firewalld
   sed -i "s/SELINUX=enforcing/SELINUX=disabled/" /etc/selinux/config
   reboot
   
   getenforce
   sestatus -v

    

3. 安装NTP同步时间

   在所有节点都执行命令

   yum -y install ntp
   
   vi /etc/ntp.conf

     

   • 注释掉所有server后 

   • 主节点加入:
     server ntp.api.gz iburst
     从节点加入：
     server 192.168.99.57 iburst
     
     
     添加完成所有节点执行：
     systemctl start ntpd
     systemctl enable ntpd

4. 安装Mysql（主服务器做就可以）

   #安装MySQL前先写着系统自带的数据库
   rpm -qa |grep mariadb
   yum –y remove 查找出的数据库
   
   #直接使用yum命令安装MySQL
   yum install mysql
   yum install mysql-server
   yum install mysql-devel
   
   #此时安装mysql-server时会出错，应该先去官网下载再进行安装
   wget http://dev.mysql.com/get/mysql-community-release-el7-5.noarch.rpm
   rpm -ivh mysql-community-release-el7-5.noarch.rpm
   yum install mysql-community-server
   
   #重启MySQL服务，并进入MySQL数据库内部，此时不需要密码就能进入
   service mysqld restart
   mysql -u root
   mysql> set password for 'root'@'localhost' =password('password');
   
   #远程连接设置（后面的root为密码）
   grant all privileges on *.* to 'root'@'%' identified by 'root';
   flush privileges;
   
   #MySQL的安装还可以参考如下网址
   https://www.cnblogs.com/starof/p/4680083.html
   https://www.cnblogs.com/fujiangong/p/5620050.html
   https://blog.csdn.net/u010936936/article/details/81939880

    

5. 配置SSH无密码登陆

   #生产密钥
   ssh-keygen -t rsa

   

   复制公钥

   cd ~/.ssh/
   cp id_rsa.pub authorized_keys
   
   # 下面的命令是把其他主机的公钥复制到本机
   ssh-copy-id -i bigdata01
   ssh-copy-id -i bigdata02
   ssh-copy-id -i bigdata03
   

    所有节点互相配置，自身不需配置，最后ssh其他节点直接进去则成功

6. 环境配置就完成了，下文配置CDH