一、准备需要三台 linux 服务器
ip ---------->hostname
192.168.0.101 hadoop-ip-101
192.168.0.102 hadoop-ip-102
192.168.0.103 hadoop-ip-103
安装一台型新的 linu 虚拟机（centos7）
1）创建用户 hadoop
useradd hadoop : 创建用户 hadoop
passwd hadoop : 给用户 hadoop 设置密码
以 root 用户的身份将 hadoop 用户设置为管理员身份
2）以 root 用户将本机的 ip 设置为 192.168.0.101; 将本机的主机名设置为 hadoop-ip-101 (/etc/hostname); 修改 /etc/hosts 文件追加下列配置，并重启服务器
3）使用 hadoop 用户登录
创建 /home/hadoop/soft 与 /home/hadoop/module
/home/hadoop/soft : 存放安装包
/home/hadoop/module：存放解压文件
4）配置环境变量
5) 切换 root 执行 source /etc/profile
6) 创建数据存储目录 /home/hadoop/hadoop2.4.0/data/tmp
以 hadoop-ip-101 为基础克隆两台机器 (请自行修改 ip 和 hostname)
hadoop-ip-102
hadoop-ip-103
以 hadoop-ip-101 为基础克隆两台机器 (请自行修改 ip 和 hostname)
hadoop-ip-102
hadoop-ip-103
Hadoop-ip-101 Hadoop-ip-102 Hadoop-ip-103
HDFS
NameNode SecondaryNameNode
DataNode DataNode DataNode
YARN
NodeManager ResourceManager NodeManager
NodeManager
hadoop-env.sh、mapred-env.sh、yarn-env.sh 之需配置 JAVA_HOME 即可
配置 NameNode 与 DataNode: core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop-ip-101:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/module/hadoop-2.4.0/data/tmp</value>
</property>
</configuration>
配置数据备份个数及 SecondaryNameNode : hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop-ip-103:50090</value>
</property>
</configuration>
配置 mapred-site.xml
<configuration>
<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
配置 datanode 节点集群: slaves
hadoop-ip-101
hadoop-ip-102
hadoop-ip-103
配置 yarn 及 resourcemanager: yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop-ip-102</value>
</property>
</configuration>
配置 SSH 免密登录
免密登录原理
配置要求配置
hadoop-ip-101 -->hadoop-ip-101,hadoop-ip-102,hadoop-ip-103 的免密登录
hadoop-ip-102 -->hadoop-ip-101,hadoop-ip-102,hadoop-ip-103 的免密登录
配置过程：
ssh-keygen -t rsa 一直按回车
ssh-copy-ip 主机名称，根据提示输入密码，结束及配置完成
启动 hadoop
在 hadoop-ip-101 下执行 hdfs namenode -format
在 hadoop-ip-101 下执行 start-dfs.sh
执行结束以后在 hadoop-ip-101,hadoop-ip-102,hadoop-ip-103 上分别查看 jps (java 进程)
