Hadoop伪分布式模式安装

 

伪分布式模式是适合配置较低的，只有一台机器的学习情况，配置和完全分布模式的配置一样，所以是适合一种学习的模式。

 

注意：配置信息都要用复制，避免标签敲错造成的不良后果

 

修改配置文件

伪分布式模式配置步骤：

1、配置hadoop-env.sh

修改hadoop的环境为JAVA_HOME，来到etc/hadoop/的配置目录下，有很多配置文件

 

 

 

这样是为了避免远程操作时的路劲错误

 

2、配置core-site.xml

fs.defaultFS            指定HDFS中NameNode的地址

hadoop.tmp.dir      指定Hadoop运行时产生文件的存储目录

 

module 之前创建的目录是moduel ，将错就错吧，下面的存储目录要改成moduel

 

<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
    <value>hdfs://hadoop101:9000</value>
</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->
<property>
  <name>hadoop.tmp.dir</name>
  <value>/opt/module/hadoop-2.7.2/data/tmp</value>
</property>

 

 

 

 

解释一下：hadoop101，是NameNode结点的地址

在hosts配置文件中，指定了hadoop101代表的ip地址

 

 

 

3、配置hdfs-site.xml

dfs.replication  指定HDFS副本的数量

 

<!-- 指定HDFS副本的数量 -->
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>

 

 

 

启动集群

1、格式化NameNode（第一次搭建集群的时候，就是刚开始的时候格式化一下，以后就不要格式化了）

 

大致看一下信息，没报什么错（第一次用肯定没什么问题）

常见问题：如果以前格式化过之后，会提示是否继续格式化

 

2、启动NameNode

 

3、启动DataNode

 

 

查看集群

 

4、查看当前运行进程

 

注意：jps是JDK中的命令，不是Linux命令。不安装JDK不能使用jps

 

5、web访问HDFS文件系统

在宿主机的任意浏览器输入192.168.178.100:50070

就是你的虚拟机的ip加上50070端口

不能访问可能是防火墙的问题

bash systemctl stop firewalld 

关闭防火墙服务