hadoop集群安装

Hadoop高可用集群的安装：

  1. 修改每台机器的主机名 /etc/hostname
  2. 修改每台机器的主机名与IP地址的映射 /etc/hosts
  3. 修改每台主机的网卡配置信息 /etc/sysconfig/network-scripts/ifcfg-eth33
    以下以kmaster1为例：

  4. TYPE="Ethernet"
    BOOTPROTO="none"
    DEVICE="ens33"
    ONBOOT="yes"
    IPADDR="192.168.1.201"
    NETMASK="255.255.255.0"
    GATEWAY="192.168.1.1"

  5. 重启网卡配置信息 service network service
  6. 重启服务器，使主机名生效
  7. 检查是否生效  
    1 # ping kmatser1

     或者使用

    1 # for host in kmaster1 kmaster2 ...
2 do
3     ping -c1 $host
4 done
  8. 配置ssh免密登录
    生成ssh密钥
    1 ssh-keygen -t rsa

    dsa和rsa的区别：

    DSA算法好在加/解速度快，密钥量端，采用对称加密
RSA算法好在网络容易实现密钥管理，便进行数据签名，算法复杂，加/解速度慢，采用非对称加密
    [详解参考http://blog.csdn.net/scottsiu/article/details/1268371]

    将id_rsa_pub的内容添加到authorized_keys中

    cat id_rsa.pub > authorized_keys

    ssh kmaster2进行验证

  9. ssh kmaster2
  10. 配置java环境变量
    1 # vim ~/.bashrc    
2     export JAVA_HOME=/usr/java/default
3     export CLASSPATH=.:$JAVA_HOME/lib
4     export PATH=$JAVA_HOME/bin:$PATH
5 # source ~/.bashrc

     

操作系统准备

 

  1. 插入操作系统光盘并挂载HanWate_Bigdata光盘  
    1 # mount /dev/cdrom /mnt/cdrom

     

  2. 安装操作系统的核心软件 
    1 # cd /mnt/cdrom/Packages/base
2 # rpm -ivh make* openssl-1*

     

  3. 卸载光盘 
    1 # cd
2 # umount /mnt/cdrom

     

  4. 光驱中替换Hanwate HDP套件的光盘，并挂载 
    1 # mount /dev/cdrom /mnt/cdrom

     

  5. 将yum安装仓库中的repo文件删除或者放在备份文件夹中，配置Hadoop套件的安装仓库/etc/yum.repos.d/hdp.repo 
    1 [HDP]
2 name=HanWate-extras-1.0
3 baseurl=file:///mnt/cdrom/HanWate-extras-1.0
4 enabled=1
5 gpgcheck=1
6 gpgkey=file:///mnt/cdrom/RPM-GPG-KEY-CentOS-7

     或者

    1 # cp /mnt/cdrom/hanwate-extras-1.0.repo /etc/yum.repos.d/

     

  6. 安装LSB基础包 
    1 # yum install -y redhat-lsb

     

posted @ 2017-11-19 00:53  kevin&learn  阅读(226)  评论(0)  编辑  收藏  举报