Hadoop2.7.3完全分布式搭建
Hadoop2.7.3完全分布式搭建
1.软件准备：
下载虚拟机软件VMware 。
下载Linux 镜像文件。
下载客户端连接工具XShell与XFtp
下载jdk
下载hadoop
2.软件安装
2.1节点：
192.168.179.100 master
192.168.179.101 slave1
192.168.179.102 slave2
192.168.179.103 slave3
2.2准备Linux环境
2.2.1为了便于操作修改主机和IP的映射关系
vim /etc/hosts
192.168.179.100 master
192.168.179.101 slave1
192.168.179.102 slave2
192.168.179.103 slave3
2.2.2设置虚拟机中的网络设置
vi /etc/sysconfig/network
NETWORKING=yes
GATEWAY=192.168.179.1
2.2.3修改IP地址
vi /etc/sysconfig/network-scripts/ifcfg-eno16777736
TYPE=Ethernet
IPADDR=192.168.179.100
NETMASK=255.255.255.0
2.2.4修改主机名测试网络是否正常
hostnamectl set-hostname master
重启网络service network restart
互相ping，看是否测试成功，若不成功，注意防火墙的影响。
关闭windows或虚拟机的防火墙。
2.2.5关闭防火墙
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off
2.3安装jdk,并配置环境变量
安装JDK
上传jdk-7u79-linux-x64.tar.gz到linux
解压jdk
#创建文件夹
mkdir /usr/java
#解压
tar zxvf jdk-7u79-linux-x64.tar.gz -C /usr/java/
将java添加到环境变量中
vim /etc/profile
#在文件最后添加
export JAVA_HOME=/usr/java/jdk1.7.0_79/
export PATH=$PATH:$JAVA_HOME/bin
#刷新配置
source /etc/profile
2.4安装配置hadoop2.7.3
先上传hadoop的安装包到服务器
配置hadoop
第一个：hadoop-env.sh
vim hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_79/
第二个：core-site.xml
<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/hadoop1/temp</value>
</property>
第三个：hdfs-site.xml hdfs-default.xml (3)
<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
将hadoop添加到环境变量
vim /etc/proflie
export JAVA_HOME=/usr/java/jdk1.7.0_79
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
测试hadoop命令是否可以直接执行，任意目录下敲hadoop
关闭虚拟机，复制3份
分别修改虚拟机的ip和hostname，确认互相能够ping通，用ssh登陆，同时修改 所 有虚拟机的/etc/hosts，确认使用名字可以ping通
修改master上/etc/hadoop/slaves文件，每一个slave占一行
slave1
slave2
slave3
2.5.配置ssh免登陆
#生成ssh免登陆密钥
#进入到我的home目录
cd ~/.ssh
ssh-keygen -t rsa （四个回车）
执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
将公钥拷贝到要免登陆的机器上
ssh-copy-id localhost
2.6启动集群
格式化namenode（是对namenode进行初始化）
hdfs namenode -format (hadoop namenode -format)
启动hadoop
sbin/start-dfs.sh
验证是否启动成功
使用jps命令验证
在master出现
23960 SecondaryNameNode
23652 NameNode
在slave1、slave2、slave1
出现
19282 DataNode
19448 DataNode
19110 DataNode
http://192.168.179.100:50070 （HDFS管理界面）
