Hadoop集群搭建

本人也是初学者，学习过程中做的笔记。能力有限，有不足之处欢迎指教！！！！

一、环境配置

操作系统：Centos 7

jdk：1.8

Hadoop 2.7.6

三个节点主机名分别为 master  node1  node2

 

二、安装前的准备

　　1、安装jdk

　　把jdk的jar包上传到/usr/local/soft目录下

 

 

 

　　解压到当前目录 （我这里解压过了，就不演示了下图展现的是解压过的结果）

 tar -zxvf jdk-8u171-linux-x64.tar.gz

 

 

 

　　配置环境变量 

 vim /etc/profile

 

 

 

 

 

 

 刷新一下

  source /etc/profile

 

 

 

 

 

 

 

　　2、永久关闭防火墙

　　　

　systemctl disable firewalld.service  这里是Centos 7 的命令

 

　　3、配置SSH免密

　　　　创建秘钥

　　　　　　

ssh-keygen -t rsa 一直回车

 

　　　　秘钥分发

　　　　　　ssh-copy-id 主机名或ip地址

　　　　　　

1 ssh-copy-id -i master
2 
3 ssh-copy-id -i node1
4 
5 ssh-copy-id -i node2

 

　　　　　　实现免密码登录到子节点

　　　　注意:如果执行出错,进入/root/.ssh删除里面所有内容,从新执行

 

三、下面开始今天的主题 集群的搭建

(以下操作在主机master上进行)　　

1、上传Hadoop  jar包到/usr/local/soft  

 

 

 2、解压安装到当前文件夹

tar -zxvf hadoop-2.7.6.tar.gz

 

 

下面先配置Hadoop的环境变量

增加hadoop环境变量，将bin和sbin都配置到PATh中

1 export HADOOP_HOME=/usr/local/soft/hadoop-2.7.6
2 :$HADOOP_HOME/bin:$HADOOP_HOME/sbin  #增加到文件末尾

 

 

 

 

刷新一下环境

source /etc/profile

下面开始修改文件

进入目录

 cd /usr/local/soft/hadoop-2.7.6/etc/hadoop

 

1、修改slaves

 vim slaves

 

删除原来的所有内容，修改为如下

 

 

 

 

2、修改hadoop-env.sh文件

vim hadoop-env.sh

 

export JAVA_HOME=/usr/local/soft/jdk1.8.0_171

 

 

 

 

（这里推荐在notepad++安装下NppFTP插件，可以连接虚拟机在Windows平台直接操作修改文件，复制粘贴很方便

　　安装使用教程自行搜索，这里就不写了）

 

 

 

 

3、修改 core-site.xml

 

vim core-site.xml

 

 

 

 

 1 <configuration>
 2     <property>
 3         <name>fs.defaultFS</name>
 4         <value>hdfs://master:9000</value>
 5     </property>
 6     <property>
 7         <name>hadoop.tmp.dir</name>
 8         <value>/usr/local/soft/hadoop-2.7.6/tmp</value>
 9     </property>
10     <property>
11         <name>fs.trash.interval</name>
12         <value>1440</value>
13     </property>
14 </configuration>

 

 

 

将下面的配置参数加入进去修改成对应自己的

 

 

 

4、修改 hdfs-site.xml 将dfs.replication设置为1

 

vim  hdfs-site.xml

 

 

 

 

 1 <configuration>
 2     <property>
 3         <name>dfs.replication</name>
 4         <value>1</value>
 5     </property>
 6     <property>
 7         <name>dfs.permissions</name>
 8         <value>false</value>
 9     </property>
10 </configuration>

 

 

 

 

 

 

 

 

5、修改yarn-site.xml

 

vim yarn-site.xml

 

 

 

 

 1 <configuration>
 2 
 3     <property>
 4         <name>yarn.resourcemanager.hostname</name>
 5         <value>master</value>
 6     </property>
 7     <property>
 8         <name>yarn.nodemanager.aux-services</name>
 9         <value>mapreduce_shuffle</value>
10     </property>
11     <property>
12         <name>yarn.log-aggregation-enable</name>
13         <value>true</value>
14     </property>
15     <property>
16         <name>yarn.log-aggregation.retain-seconds</name>
17         <value>604800</value>
18     </property>
19     <property>  
20         <name>yarn.nodemanager.resource.memory-mb</name>  
21         <value>20480</value>  
22     </property>  
23     <property>  
24         <name>yarn.scheduler.minimum-allocation-mb</name>  
25         <value>2048</value>  
26     </property>  
27     <property>  
28         <name>yarn.nodemanager.vmem-pmem-ratio</name>  
29         <value>2.1</value>  
30     </property>
31 
32 </configuration>

 

 

 

 

 

 

 

 

6、修改 mapred-site.xml（将mapred-site.xml.template 复制一份为 mapred-site.xml

 

命令：

 

cp mapred-site.xml.template mapred-site.xml

vim  mapred-site.xml

 

 

 1 <configuration>
 2 
 3     <property>
 4         <name>mapreduce.framework.name</name>
 5         <value>yarn</value>
 6     </property>
 7     <property>  
 8         <name>mapreduce.jobhistory.address</name>  
 9         <value>master:10020</value>  
10     </property>  
11     <property>  
12         <name>mapreduce.jobhistory.webapp.address</name>  
13         <value>master:19888</value>  
14     </property>
15 
16 </configuration>

 

 

 

 

 

 

 

 

 

 

 

7、将hadoop的安装目录分别拷贝到其他子节点

 

scp -r /usr/local/soft/hadoop-2.7.6 node1:/usr/local/soft/

 

 

 

 

 

scp -r /usr/local/soft/hadoop-2.7.6 node2:/usr/local/soft/

 

 

 

 

8、格式化namenode（在master中运行）

hdfs namenode -format

 

9、启动hadoop

start-all.sh

 

输入yes

 

 

 

10、验证 是否安装成功

启动完成后通过jps命令查看验证进程：jps

主节点进程为下面几个（下面是进程名称，不是命令）：

Namenode

secondarnamenode

resourcemanager

 

 

 

子节点进程 （在node1和node2上分别输入命令：jps）

datanode

nodenodemanager

 

 

 

 

 

 验证hdfs

windows电脑登录浏览器（强烈建议chrome浏览器）

 

 

master:50070

 

 

 

刚装好的hadoop应该是空的什么都没有

到这里我们就大功告成了，赶紧拍个快照保存一下把

 

 

posted on 2021-04-03 21:28  yang_12138  阅读(830)  评论(0)  编辑  收藏  举报