hadoop部署

1.准备三台虚拟机
2.软件上传目录 /root/softwares
3.软件安装目录 /usr/local
4.安装 jdk （三个节点安装）
卸载jdk：
whice java
rm -rf *****

wget https://sx.guiren21.com/201704/tools/jdk-linux-x64.tar.gz
tar -zxvf jdk-linux-x64.tar.gz -C /usr/local
cd /usr/local/
vim /etc/profile
#java
export JAVA_HOME=/usr/local/jdk
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
source /etc/profile
java -version

5.准备hadoop-2.7.6.tar.gz 软件
*root用户 部署
6.关闭防火墙
7.ip host 映射 lihong01 lihong02 lihong03
8.做免密:
ssh-keygen -t rsa
ssh-copy-id -i ~/.ssh/id_rsa.pub root@lihong01
ssh-copy-id lihong01
ssh-copy-id lihong02
ssh-copy-id lihong03
三台相互做

9.时间同步
10.上传hadoop包到softwares目录下：
tar -zxvf hadoop-2.7.6.tar.gz -C /usr/local #安装在/usr/local目录下（三个节点安装）
11.改名 mv hadoop-2.7.6 hadoop
12.配置环境变量：
vim /etc/profile
底部添加
# Hadoop
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile

==========================================

HDFS：
1.namenode与datanode介绍
有一个主节点，问主节点存放数据，主节点回应。找数据也是主节点去找，有记录。（主节点不能存储，只是维护信息（namenode）） （存储节点叫做datanode）

2.Hadoop的配置文件
hadoop-env.sh
yarn-env.sh
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml

core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://lihong01:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>

hdfs-site.xml
<configuration>
<!-- namenode 守护进程管理的元数据文件fsimage存储的位置-->
<property>
<name>dfs.namenode.name.dir</name>
<value>file://${hadoop.tmp.dir}/dfs/name</value>
</property>
<!-- 确定DFS数据节点应该将其块存储在笨的文件系统的何处 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>file://${hadoop.tmp.dir}/dfs/data</value>
</property>
<!-- 块的副本数 -->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
<property>
<!-- 块的大小（128），下面的单位是字节 -->
<name>dfs.blocksize</name>
<value>134217728</value>
</property>
<!-- secondaryNamenode守护进程的http地址：主机名和端口号。参考守护进程布局 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>lihong02:50090</value>
</property>

<!-- namenode守护进程的http的http地址：主机和端口号。参考守护进程布局-->
<property>
<name>dfs.namenode.http-address</name>
<value>lihong01:50070</value>
</property>
</configuration>

mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>lihong01:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>lihong01:19888</value>
</property>
</configuration>

 

 

yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>lihong01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>lihong01:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>lihong01:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>lihong01:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>lihong01:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>lihong01:8088</value>
</property>
</configuration>

vim hadoop-env.sh #切记三台主机都要修改
export JAVA_HOME=/usr/local/jdk #修改成jdk路径

vim yarn-env.sh #切记三台主机都要修改
JAVA_HOME=/usr/local/jdk #修改成jdk路径，26行

vim slaves #此文件用于指定datanode守护进程所在的机器节点主机名 #切记三台主机都要修改
lihong01 #主
lihong02 #从
lihong03 #从

修改的配置文件给另外两台主机
scp -r hadoop/ lihong02:$pwd
scp -r hadoop/ lihong03:$pwd

格式化启动
hdfs namenode -format

启动：
start-all.sh

访问：
http://192.168.1.23:50070/dfshealth.html#tab-overview #主节点ip