一 、 安装一台全新的Redhat 。

二 、 更改静态IP地址
（1）获取本机IP地址，
ifconfig -a 
 
 (2) 更改hosts 文件
vim /etc/hosts
 
（3）更改hostname
vim  /etc/sysconfig/network
（4） 配置静态IP地址
vim /etc/sysconfig/network-scripts/ifcfg-ethx
（5） 重启网络服务使其生效
service network restart 
 
三 、 安装JDK 
（1） 查询Redhat本机jdk  
rpm -qa | grep jdk 
rpm -e --nodeps jdk

 

（2）  安装jdk
通过此页面下载Linux版本jdk，并上传至虚拟机内
tar -xzvf jdk 1.8.0

 

（3）配置JDK环境
在Linux 根目录下新建soft 文件夹，并将tar开的jdk剪切到soft 文件夹
cd  /
mkdir soft
mv jdk /soft
ln -s jdk-1.8 jdk 
配置/etc/profile
vim /etc/profile
 
--插入环境变量
export  JAVA_HOME=/soft/jdk
export  PATH=$PATH:$JAVA_HOME/bin
 
--使其立即生效
source  /etc/profile

 

（4） 检验 JDK是否安装成功
四 、 克隆虚拟机配置从机IP地址使其IP互通
通过master 克隆三台Redhat 机器，并修改其IP地址与hostname信息，其四台机器分别为master 、slave1 、slave2  、slave3。
直至四台机器IP互通为止。
因完全克隆导致三台从机slave可能本身网卡信息可能会与master一致，导致IP地址修改不成功，可以通过以下方法解决。
通过ifconfig -a 命令查询从机IP信息，master机器为eth0 ,而从机为eth1，在slave从机上，通过root 用户删除 /etc/sysconfig/network-scripts/ifcfg-eth0 文件，复制ifconfig -a 中从机网卡的HWADDR字符串
并复制ifcfg-lo文件，重命名为网卡ifcfg-eth1，编辑其内容将网络信息写入其中将HWADDR值加入进入后重启网络服务即可。
五 、 安装Hadoop 2.6.5
 （1） 下载地址
（2）配置Hadoop文件环境变量
-- tar 开hadoop 文件
tar -xzvf hadoop-2.6.5
 
-- 移动tar开文件到/soft 中
mv hadoop-2.6.5 /soft
 
-- 设置超链接
ln -s hadoop-2.6.5 hadoop 
 
-- 配置Hadoop 环境变量
vim /etc/profile 
 
-- 将Hadoop环境变量加入 /etc/profile
export  HADOOP_HOME=/soft/hadoop
export  PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
 
-- 使其环境变量立即生效
source /etc/profile

 

（3） 配置Hadoop 核心文件
--   进入Hadoop核心配置文件文件夹
cd  /soft/hadoop/etc/hadoop/
 
--  编辑core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
</configuration>
 
-- 编辑hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>
 
--  编辑 slaves 文件
slave1
slave2
slave3
 
-- 复制 mapred-site.xml.template
cp  mapred-site.xml.template  mapred-site.xml
 
--  编辑mapred-site.xml
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
 
--  编辑yarn-site.xml 
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
        <property>
            <name>yarn.resourcemanager.resource-tracker.address</name>
             <value>master</value>
        </property>
</configuration>
 
-- 将JAVA_HOME 环境变量加入hadoop-env.sh
JAVA_HOME=/soft/bin

 

（4） 将Hadoop文件分发到各从机上
--  分发Hadoop到个从机/soft 文件中
scp -r  hadoop-2.6.5  zhihua@slave1:/soft/
scp -r  hadoop-2.6.5  zhihua@slave2:/soft/
scp -r  hadoop-2.6.5  zhihua@slave3:/soft/
 
--  在从机上/etc/profile 文件中加入Hadoop 环境变量
export  HADOOP_HOME=/soft/hadoop
export  PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
 
-- 使其环境变量立即生效
source /etc/profile

 

（5） 格式化数据
hadoop namenode -format

 

（6）  启动集群
start-all.sh 
使用jps 命令查询Hadoop进程
master显示
slave1--slave3显示
六  、 webUI查看
通过浏览器输入 192.168.156.114:50070 
显示此页面则说明Hadoop hdfs部署成功
在浏览器中输入 192.168.156.14:8088
 
显示此页面说明yarn正常
 
如若两个页面都无法正常显示，首先考虑是不是防火墙未关闭。
service  iptables stop

 

关闭防火墙后重新加载webUI页面 显示正常！ Hadoop完全分布式部署成功！
 
部署zookeeper 完全分布式
1.下载zookeeper
2.配置zookeeper环境变量
-- tar 开zookeeper文件
tar -xzvf zookeeper xxxxx 
 
-- 移动tar开文件至/soft
mv zookeeper /soft 
 
--  设置符号链接
ln -s  zookeeper zk 
 
--  配置环境变量
vin  /etc/profile 
 
--  加入zookeeper 环境变量
export  ZK_HOME=/soft/zk
export  PATH=$PATH:$ZK_HOME/bin
 
--  使其环境变量立即生效
source  /etc/profile
3.修改zookeeper核心配置文件
-- 进入zookeeper核心配置目录
cd /soft/zk/conf
 
--  复制核心配置文件
cp  zoo_sample.cfg zoo.cfg
 
--  编写zoo.cfg配置文件
# The number of milliseconds of each tick
tickTime=2000
# The number of ticks that the initial
# synchronization phase can take
initLimit=10
# The number of ticks that can pass between
# sending a request and getting an acknowledgement
syncLimit=5
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just
# example sakes.
dataDir=/home/zhihua/zookeeper
# the port at which the clients will connect
clientPort=2181
# the maximum number of client connections.
# increase this if you need to handle more clients
#maxClientCnxns=60
#
# Be sure to read the maintenance section of the
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
# The number of snapshots to retain in dataDir
#autopurge.snapRetainCount=3
# Purge task interval in hours
# Set to "0" to disable auto purge feature
#autopurge.purgeInterval=1
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888
 
4.分发zookeeper文件
--  分发文件
scp -r zookeeper  zhihua@slave1:/soft/
scp -r zookeeper  zhihua@slave2:/soft/
scp -r zookeeper  zhihua@slave3:/soft/
 
--  在从机上设置符号链接
ln -s  zookeeper zk 
 
--  配置环境变量
vin  /etc/profile 
 
--  加入zookeeper 环境变量
export  ZK_HOME=/soft/zk
export  PATH=$PATH:$ZK_HOME/bin
 
--  使其环境变量立即生效
source  /etc/profile

 

5.创建zookeeper目录
cd /home/zhihua 
 
--  在master、slave1、slave2机器下创建目录
mkdir zookeeper 
 
-- 在zookeeper 目录下编写myid文件
[master]
echo 1 > /home/zhihua/zookeeper/myid
 
[slave1]
echo 2 > /home/zhihua/zookeeper/myid
 
[slave2]
echo 3 > /home/zhihua/zookeeper/myid

 

6.启动zookeeper
在master 、 slave1 、slave2 机器上
-- 进入zookeeper的bin 目录下
cd /soft/zk/bin
 
--  启动zk 
./zkServer.sh start 
 
-- 查看zk 状态
./zkServer.sh status

 

三台机器启动后通过./zkServer.sh status 命令可以查询到zk集群的启动状态，分别为一个leader ，两个follower。
通过jps命令可以查询zookeeper进程

 

转载于：https://www.cnblogs.com/zhihua-he/p/10814803.html