HDFS集群

一、上传hadoop安装包到hdp-01集群任一节点(master)

 

tar -zxvf 软件包 -C 指定安装文件夹

二、修改配置文件

1.指定Hadoop的默认文件系统为hdfs

2.指定hdfs的namenode节点为哪台机器

3.指定namenode软件存储元数据的本地目录

4.指定datanode软件存放文件块的本地目录

三、进入安装目录

cd etc/hadoop/
1.vi hadoop-env.sh

修改：

export JAVA_HOME=/root/apps/jdk # jdk 安装位置

2.vi core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000/</value> #namenode设置成master
</property>
</configuration>
3.vi hdfs-site.xml

<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/root/data/name</value> #存储元数据的本地目录
</property>



<property>
<name>dfs.datanode.data.dir</name>
<value>/root/data/data</value> #存放文件块的本地目录
</property>


#防止单点故障的配置
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hdp1:50090</value>
</property>
</configuration>

4.配置Hadoop的环境变量 要运行hadoop的命令，需要在linux环境中配置HADOOP_HOME和PATH环境变量

vi /etc/profile

export HADOOP_HOME=/root/apps/hadoop-2.8.4 #hadoop 安装位置
export PATH=.:$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存之后，别忘了 source /etc/profile使配置生效

5.把这台机器安装的Hadoop拷贝到其他机器

scp -r hadoop-2.4.8 hdp1:$PWD
四、初始化namenode的元数据目录

要在master上执行hadoop的一个命令来初始化namenode的元数据存储目录

hadoop namenode -format
创建一个全新的元数据存储目录
生成记录元数据的文件fsimage
生成集群的相关标识：如：集群id——clusterID
五、启动Hadoop

单独启动

hadoop-daemon.sh start namenode
启动完后，首先用jps查看一下namenode的进程是否存在

然后，在windows中用浏览器访问namenode提供的web端口：50070

http://master:50070

 

然后，启动众datanode们（在任意地方）

hadoop-daemon.sh start datanode

补充：

Namenode监听两个端口——9000（客户端和namenode交互）；50070（namenode内置的服务器）

用自动批量启动脚本来启动HDFS

先配置master到集群中所有机器（包含自己）的免密登陆
配完免密后，可以执行一次 ssh 0.0.0.0
修改hadoop安装目录中/etc/hadoop/slaves（把需要启动datanode进程的节点列入）
vi slaves 加入节点名称

 

启动/停止

master上用脚本：start-dfs.sh 来自动启动整个集群
如果要停止，则用脚本：stop-dfs.sh
————————————————

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

原文链接：https://blog.csdn.net/laozaoxiaowanzi/article/details/112481516