hadoop完全分布式安装教程
环境说明
集群中有三个节点：一个Master，两个Slave。
节点的IP地址分别为：
Master：192.168.140.132
Slave1：192.168.140.133
Slave2：192.168.140.134
可以通过ifconfig查看自己虚拟机的IP地址。
网络配置
修改自己各个节点的主机名
vi /etc/sysconfig/network
修改节点的IP映射
vi /etc/hosts
重启虚拟机
sudo reboot
以上操作同时要在另外两个节点上配置
配置SSH免密登录
cd ~/.ssh
#删除之前的公钥
rm ./id_rsa*
#生成公钥，然后一直按回车
ssh-keygen -t rsa
cat ./id_rsa.pub >> ./authorized_keys
#修改权限
chmod 600 authorized_keys
#验证
ssh Master
#将Master节点上公钥传输到另外两个节点上
scp ~/.ssh/id_rsa.pub stu@Slave1:/home/hadoop/
scp ~/.ssh/id_rsa.pub stu@Slave1:/home/hadoop/
#在Slave1、Slave2上将上述公钥加入授权
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
cd ~/.ssh/
chmod 600 authorized_keys
安装JDK，配置环境变量
分别在Master、Slave1、Slave2上安装JDK环境
cd /usr/local
tar -zxvf JDK-(看你虚拟机是32位的还是64位的，下载对应的安装包)
配置JAVA_HOME环境变量
vi ~/.bashrc
#在最后一行添加
export JAVA_HOME=(你JDK的安装位置)
export PATH=$JAVA_HOME/bin:$PATH:
#使环境变量配置生效
source ~/.bashrc
验证
java -version
安装配置hadoop
在Master节点上
#进入到你压缩包的位置，并解压
cd /usr/local
tar -zxvf hadoop-2.7.2.tar.gz
#将文件夹名修改位hadoop
mv hadoop-2.7.2 hadoop
#修改文件权限
chmon -R stu:stu hadoop
#修改环境变量
vi ~/.bashrc
#添加以下内容
#使配置生效
source ~/.bashrc
修改五个配置文件
/usr/local/hadoop/etc/hadoop/slaves
/usr/local/hadoop/etc/hadoop/core-site.xml添加
/usr/local/hadoop/etc/hadoop/hdfs-site.xml添加
/usr/local/hadoop/etc/hadoop/mapred-site.xml添加
/usr/local/hadoop/etc/hadoop/yarn-site.xml添加
完成后分别将hadoop文件夹和bashrc文件发送到Slave1、Slave2节点上
sudo scp -r /usr/local/hadoop Slave1:/usr/local/
sudo scp -r /usr/local/hadoop Slave2:/usr/local/
scp /home/hadoop/.bashrc stu@Slave1:/home/hadoop/
scp /home/hadoop/.bashrc stu@Slave2:/home/hadoop/
接着进入Slave1、Slave2进行下面的操作
最后在Master节点上进行格式化
hdfs namenode -format
启动集群
在Master节点上start-all.sh
在Master、Slave1、Slave2上输入jps检查
进入Master：50070查看
到此，hadoop完全分布式搭建成功。
