hadoop3.1伪分布式部署

1.环境准备

系统版本：CentOS7.5

主机名：node01

hadoop3.1 的下载地址： http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-3.1.1/hadoop-3.1.1.tar.gz 

jdk8 rpm包下载地址：https://download.oracle.com/otn-pub/java/jdk/8u191-b12/2787e4a523244c269598db4e85c51e0c/jdk-8u191-linux-x64.rpm

 

2.配置jdk的环境变量

2.1编辑/etc/profile 

export JAVA_HOME=/usr/java/jdk1.8.0_191-amd64
export JRE_HOME=$JAVA_HOME/jre
export PAHT=$PATH:JAVA_HOME/bin:$JRE_HOME/bin
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib

2.2使得配置生效

source /etc/profile

3.安装部署hadoop

3.1解压hadoop到/opt 目录下

cd /software
tar xf hadoop-3.1.1.tar.gz -C /opt/

3.2切换到hadoop配置文件目录

cd /opt/hadoop-3.1.1/etc/hadoop/

3.3修改hadoop的环境配置文件hadoop-env.sh

# 配置文件末尾添加下面变量
export JAVA_HOME=/usr/java/jdk1.8.0_191-amd64
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root

3.4修改core-site.xml配置文件

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://node01:9000</value>
    </property>
    #用于namenode 以及元数据存放在tmp目录下，更改存放到/var/hadoop/peseudo
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/var/hadoop/peseudo</value>
    </property>
</configuration>

3.5修改hdfs-site.xml配置

<configuration>
    <property>
        <name>dfs.replication</name> #代表副本
        <value>1</value>
    </property>
 
    <property>
        <name>dfs.namenode.secondary.http-address</name> #代表副本
        <value>node01:9868</value>
    </property>
</configuration>

 

3.6修改workers配置

在2.x版本中workers对应的是slave文件，写上对应的从节点的hostname，由于是伪分布式部署，从节点只有一个node01

vi workers
node01     #localhost改成你的主机名

3.7执行格式化namenode

# cd /opt/hadoop-3.1.1
# ./bin/hdfs namenode -format
2018-12-12 22:14:40,004 INFO common.Storage: Storage directory /var/hadoop/peseudo/dfs/name has been successfully formatted.
2018-12-12 22:14:40,025 INFO namenode.FSImageFormatProtobuf: Saving image file /var/hadoop/peseudo/dfs/name/current/fsimage.ckpt_0000000000000000000 using no compression
2018-12-12 22:14:40,162 INFO namenode.FSImageFormatProtobuf: Image file /var/hadoop/peseudo/dfs/name/current/fsimage.ckpt_0000000000000000000 of size 389 bytes saved in 0 seconds .
2018-12-12 22:14:40,177 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
2018-12-12 22:14:40,186 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at node01/10.10.0.11
************************************************************/

#看到上面的输出successfully formatted 表示格式化成功。

 

3.8查看生成的数据信息

一个集群中的clusterID是一样的。

 

3.9启动集群

./sbin/start-dfs.sh

通过jsp命令查看在一个节点上的所有集群中的角色都启动起来了。

 

#查看9870端口

浏览器输入：

 

点击livenode

访问文件系统

现在根目录为空

4.hdfs客户端使用

使用客户端创建目录

./bin/hdfs dfs -mkdir /temp

网页上验证是否创建成功

使用hdfs客户端上传文件

./bin/hdfs dfs -put /software/hadoop-3.1.1.tar.gz /temp

将本地的hadoop安装包上传到hdfs中

有一个副本，文件总大小319.06MB,块大小128MB

发现该文件被切成了3个block块

后台查看物理位置