Hadoop 学习第三天之集群安装(上)
Hadoop 学习之集群安装(上)
将配置的伪分布模式的虚拟机克隆两份并更名为centos_node2和centos_note3
分别打开三个虚拟机，第一个基本不需要配置了，现在主要配置centos_note2和centos_note3的配置。
1. 首先修改IP地址和主机名
因为centos是hadoop1和192.168.100.11，在这里设置centos_note2和centos_note3的主机名和IP地址分别为：hadoop2/192.168.100.12和hadoop3/192.168.100.13。并把主机名和ip地址绑定
centos_note2的修改主机名：
#vim /etc/sysconfig/network 下的HOSTNAME=hadoop2，centos_note3的相应的改为hadoop3
再通过#hostname hadoop2。设置临时的主机名那么机器就不用重新启动了。
Note2的修改ip地址：在右上角点编辑链接，然后编辑将ipv4改为手动，地址192.168.100.12 掩码：255.255.255.0 网关：192.168.100.1。
Note3的改为相应的ip
绑定ip和主机名：
#vim /etc/hosts
Ip hostname
192.168.100.12 hadoop2
保存并重启网络服务：
#service network restart
在宿主机上ping以下看是否三台机器都能ping通。一般情况都能通的。只要和宿主机上的VMnet1网关在同一网段一般没问题。
通过pietty远程连接三台虚拟机，进行下一步的操作
2. 将note2和note3中配置数据重置
a) 删掉远程连接ssh免登陆：
#rm –rf /root/.ssh/*
b) 删掉原来的hadoop安装程序
#rm –rf /usr/local/*(如果该目录下还有其他的有用数据，则只删除hadoop的即可)
c) 删掉环境变量中的hadoop和jdk的配置
#vim /etc/profile
将JAVA_HOME和HADOOP_HOM的那三行都删掉
#source /etc/profile 使得环境变量配置文件重新生效
3. 重新配置三台虚拟机，搭建集群环境前的系统环境
a) 配置每台机器上的ssh免密码登录(以主机名为hadoop1的centos为例)
#ssh-keygen –t rsa 一路回车，在/root/.ssh/下生成id_rsa.pub
生成公钥信息
#cp id_rsa.pub authorized_keys (不能写错否则就不能免密码登录了)
#登录本机，免密码登录
#ssh hadoop1 就能免密码登录了
其他两台也是同样的操作
b) 三台机器间的免密码登录
将自己的公钥复制到允许需要免密码登录的其他主机上
#ssh-copy-id -i hadoop2
输入hadoop2的密码
下次就可以免密码登录了。
如果主机名和ip没有绑定会出现这样的错误
在hadoop2和hadoop3上分别执行
##ssh-copy-id -i ip(hadoop1的ip)
完事后hadoop2和hadoop3就可以免密码登录hadoop1了。
将hadoop1下的ssh免密码许可文件复制到hadoop2和hadoop3上
#scp /root/.ssh/authorized_keys root@hadoop2:/root/.ssh/
如果之前做过hadoop1到相应主机的免密码登录就不需要密码，没做过就需要输入密码。分别复制完成后，现在三台虚拟机之间就可以互相免密码登录了，但还不能使用主机名登录，现在讲ip和主机名绑定的hosts文件也在三台虚拟机之间同步
#scp /etc/hostsroot@hadoop2:/etc/hosts
这样三台虚拟机之间就可以通过主机名相互免密码登录了。
c) 为hadoop2和hadoop3复制安装文件和配置文件
前提:为了保持干净和便于查找错误，将hadoop下的logs和tmp目录删除
#cd /usr/local/hadoop/
#rm –rf ./{logs/,tmp/}
将jdk和hadoop安装文件复制都hadoop2和hadoop3
# scp -r /usr/local/{jdk,hadoop} hadoop2:/usr/local/
# scp -r /usr/local/{jdk,hadoop} hadoop3:/usr/local/
将profile配置文件复制到hadoop2和hadoop3
# scp -r /etc/profile hadoop2:/etc/
在每个节点使profile生效:
#source /etc/profile
4. 搭建集群环境
a) 修改hadoop1下的hadoop的配置文件slaves，将另两台主机名加进去作为从节点,hadoop1作为主节点。每个主机名占一行
b) 启动hadoop集群环境
i. 先格式化namenode
#hadoop namenote –format
ii. 启动hadoop集群
#start-all start
这样在主节点上就启动了是哪个进程NameNode、JobTracker、SecondarynameNode。在从节点启动了DataNode和TaskTracker
点击Live Bodes
