CDH-5.4.3离线安装

 

使用CM离线安装CDH-5.4.3，如下：

cdh5.4.3安装

    配置/etc/hosts
        vim /etc/hosts
            192.168.10.1    s1
            192.168.10.2    s2
            192.168.10.3    s3
            192.168.10.4    s4
            192.168.10.5    s5
            192.168.10.6    s6

    关闭防火墙
        service iptables stop
        chkconfig iptables off
        service iptables status
    
    关闭selinux
        vim /etc/selinux/config
            #SELINUX=enforcing
            SELINUX=disabled
    
    安装ntp服务
        yum install ntp
        chkconfig ntpd on
        chkconfig --list | grep ntpd
    
    安装rzsz上传下载工具
        yum install lrzsz
    
    安装jdk7
        cd /usr/local/soft/
        tar -zxvf jdk-7u65-linux-x64.tar.gz
        vim /etc/profile
            export JAVA_HOME=/usr/local/soft/jdk1.7.0_65
            export PATH=.:$JAVA_HOME/bin:$PATH
    
    安装mysql
        rpm -qa | grep -i mysql
        rpm -e --nodeps mysql-libs-5.1.71-1.el6.x86_64
        yum install mysql-server
        service mysqld start
        chkconfig mysqld on
        mysql -uroot -p（此时mysql无密码）
            set password=password('123456');
            flush privileges;
            exit
        mysql -uroot -p123456
            如下数据库只在s1节点上    
                创建集群监控数据库
                    create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
                创建hive数据库
                    create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
                创建hue数据库（cloudera提供的在浏览器上使用HDFS文件浏览、hiveSQL、Solr、Impala、Spark、Pig、Oozie、HBase操作、MapReduce、Sqoop2、ZooKeeper、MySQL、Oracle、Postgresql）
                    create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
    
    配置免密码登陆，每个节点都需要
        ssh-keygen -t rsa（三次回车）
    
    下载cm-5.4.3到/usr/local/soft/下
        wget http://archive-primary.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.4.3_x86_64.tar.gz
        ll /usr/local/soft/    
            cloudera-manager-el6-cm5.4.3_x86_64.tar.gz
        
    下载cdh-5.4.3到/usr/local/soft/下
        wget http://archive-primary.cloudera.com/cdh5/parcels/5.4.3/
        ll /usr/local/soft/
            CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel
            CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel.sha（mv CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel.sha1 CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel.sha）
            manifest.json
            
    安装cloudera-manager-5.4.3        
        解压cm-5.4.3到/opt下
            tar -zxvf /usr/local/soft/cloudera-manager-el6-cm5.4.3_x86_64.tar.gz -C /opt/
        创建scm用户（在每个节点上都要）
            useradd --system --home=/opt/cm-5.4.3/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
            vim /opt/cm-5.4.3/etc/cloudera-scm-agent/config.ini
                server_host=s1
            cp /usr/local/soft/mysql-connector-java-5.1.26-bin.jar /opt/cm-5.4.3/share/cmf/lib/
        创建cm数据库
            /opt/cm-5.4.3/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -p123456 --scm-host localhost scm scm scm
        复制CDH到/opt/cloudera/parcel-repo/下（只在s1上复制，其他节点不需要）
            CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel
            CDH-5.4.3-1.cdh5.4.3.p0.6-el6.parcel.sha
            manifest.json
        复制到s2~s6节点
            for i in {2..6}; do echo s1-s${i}; scp -r /opt/c* root@s${i}:/opt/; done;
        启动cm server（s1上）
            /opt/cm-5.4.3/etc/init.d/cloudera-scm-server start(start|stop|status)
        启动cm agent（s1~s6上）
            /opt/cm-5.4.3/etc/init.d/cloudera-scm-agent start(start|stop|status)
　　使用s1:7180中开始配置集群，如下：

1

2

3

4

5

　　

6

 

7

8

9

10

11

12

13

14

15