使用yum安装CDH Hadoop集群
使用yum安装CDH Hadoop集群——局域网集群
原文链接:http://blog.chinaunix.net/uid-33797-id-4912855.html,更详细过程参考原文。
简单描述:
在局域网集群内部使用本地yum源搭建CDH集群,并进行相关配置。
简要步骤:
1.配置本地yum仓库,集群本地yum源
2.修改节点hosts信息
3.配置ssh无秘钥登录
4.安装和配置HDFS
5.安装和配置yum
6.安装和配置zookeeper
详细步骤:
1.配置本地yum仓库,本地yum源
本地yum仓库主要是将已经有的yum源文件进行共享,是的集群中每一个节点都能访问到,一本可以通过http服务器,ftp服务器,NFS挂载方式进行共享
注:只要能共享并且其他节点能够访问到就可以,形式不限。
1>集群可以上网,本地yum源配置详细过程自行百度_参考http://www.cnblogs.com/nidey/p/6200685.html
2>如果不能够上网,可以直接进入到/etc/yum.repos.d/目录,删除或者备份原有的.repo文件(CentOS 默认安装yum,没有的自行安装)
然后创建自己的xxx.repo文件,进行简单配置
编辑xxx.repo文件,输入:(简单配置,需要详细配置的自行百度,各个元素含义自行百度)
1 [cloudera-cdh5] 2 # Packages for Cloudera's Distribution for Hadoop, Version 5, on RedHat or CentOS 6 x86_64 3 name=Cloudera's Distribution for Hadoop, Version 5 4 baseurl=http://xx.xx.xx.xx/cdh/5/ 5 gpgcheck = 0
3>执行 yum clean all
4>直接使用
2.配置节点hosts信息——使用DNS可以略过这一步
2.1 修改hostname
使用hostname 指令查看各个节点名称是否与规划一致
如果不一致:
修改/etc/sysconfig/network中hostname=master
其他节点修改成相对应的名称
2.2 检查hostname和ip和规划上一致无误
2.3 修改hosts -> 如果使用DNS,可以不配置,这里配置好也是一种好的习惯
修改/etc/hosts ,添加以下内容
192.168.240.162 master
192.168.240.163 slave1
192.168.240.167 slave2
192.168.240.161 slave3
2.4 检查各个节点通过hostname是否能相互ping通
3.配置ssh 无秘钥登录
——>方便切换节点进行配置,master节点直接ssh到其他节点
ssh-keygen -t rsa -P ‘’ -f ~/.ssh/id_rsa
ssh-copy-id -i ip
4.安装和配置hdfs —— 安装配置zookeeper参考原文:http://blog.chinaunix.net/uid-33797-id-4912855.html,比较详细或者查看官网http://www.cloudera.com/documentation/enterprise/latest/topics/introduction.html更佳。