Hadoop完全分布式搭建

一、namenode节点各参数

二、Hadoop sbin指令

 

1.hadoop-daemon.sh

每次启动 或关闭一个应用

hadoop-daemon start namenode
hadoop-daemon start datanode
hadoop-daemon start secondarynamenode
hadoop-daemon stop datanode

 

2.start-all.sh

start-all.sh  //启动hdfs（namenode,DataNode，secondaryNameNode）和yarn两个组件（resourcesmanager，nodemanager）

 

3.stop-all.sh

stop-all.sh //关闭hdfs（NameNode，DataNode，secondaryname）和yarn两个组件（resourcemanager,nodemanager）

 

4.start-dfs.sh

start-dfs.sh //启动hdfs组件(NameNode，DataNode，secondarynamenode)

 

5.stop-dfs.sh

stop-dfs.sh //关闭hdfs组件

 

6.start-yarn.sh

start-yarn.sh //启动yarn组件

 

7.stop-yarn.sh

stop-yarn.sh //停止yarn组件

 

8.yarn-daemon.sh

yarn-daemon.sh start resourcemanager

yarn-daemon.sh start nodemanager //停止或开启yarn组件的单个进程

 

三、搭建Hadoop完全分布式

完全分布式在伪分布式配置基础上新增多台机器，搭建成为Hadoop集群。

伪分布式搭建参考:https://www.cnblogs.com/phy2020/p/12336768.html

1.修改配置各台机器名和ip映射

vim /etc/hostname     //查看各主机名 保证各不相同

 

vim /etc/hosts 查看ip地址和主机名映射是否相同

 

2.配置ssh免密

将namenode节点和各datanode节点配置免密，包括自己一自己免密。

ssh-keygen  //得到公钥和私钥

 

 

ssh-copy-id hdp02  //将公钥发送给其余主机保证相互访问不需要密码

 

ssh hdp02 //测试是否成功

 

3.配置namenode节点的slaves

vim /opt/soft/hadoop277/etc/hadoop/slaves  //加入所有datanode主机的主机名

 

4.配置hdfs-site.xml

此配置为hdfs上文件的副本数

<property>
<name>dfs.replication</name>
<value>3</value>
</property>

 

使用scp将配置分发到其余主机

scp /opt/soft/hadoop277/etc/hadoop/hdfs-site.xml hdp02:/opt/soft/hadoop277/etc/hadoop

 

5.清空hadoop-tmp-dir目录下所有文件

保证namenode只有一份防止出错

cd /opt/soft/hadoop277/tmp
rm -rf *

 

6.在namenode节点上初始化hadoop

hadoop namenode -format

 

启动节点

start-dfs.sh
start-yarn.sh