Hadoop 伪分布式模式配置

伪分布式模式:

  存储采用分布式文件系统HDFS,但HDFS的名称节点和数据节点都在同一台机器上

配置步骤:

  • 修改core-site.xml、hdfs-site.xml配置文件
  • 执行名称节点格式化
  • 启动 Hadoop
  • Web查看Hdfs信息
  • 关闭 Hadoop
  • 配置环境变量

 

1. 修改core-site.xml、hdfs-site.xml配置文件

core-site.xml、hdfs-site.xml两个配置文件位于hadoop/etc/hadoop目录下

hadoop@zq:/usr/local/hadoop/etc/hadoop$ ls
capacity-scheduler.xml            kms-log4j.properties
......            ......                ......
core-site.xml                     mapred-env.cmd
......            ......                    ......
hdfs-site.xml                     ssl-server.xml.example
.......            ......                ......
hadoop@zq:/usr/local/hadoop/etc/hadoop$     

修改core-site.xml文件的内容,将 <configuration> </configuration> 中添加属性对添加如下内容:

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

同理,修改配置文件hdfs-site.xml,修改后的内容:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

 

2. 执行名称节点格式化

hadoop@zq:/usr/local/hadoop/etc/hadoop$ cd /usr/local/hadoop/bin
hadoop@zq:/usr/local/hadoop/bin$ ./hdfs namenode -format

显示格式化成功

 

3. 启动 Hadoop

跳到/usr/local/hadoop/sbin路径下,启动 Hadoop

hadoop@zq:/usr/local/hadoop/sbin$ ./start-dfs.sh

 

4. Web查看Hdfs信息

打开浏览器,输入地址:localhost:9870

注意:如果用的是虚拟机,在虚拟机的浏览器中本地链路访问,在Windows的浏览器中访问是访问不到的

 

5. 关闭Hadoop

hadoop@zq:/usr/local/hadoop/sbin$ ./stop-dfs.sh

 

6. 配置环境变量

# 编辑环境变量
hadoop@zq:~$ vim ~/.bashrc

在.bashrc文件中追加一行

export PATH=$PATH:/usr/local/hadoop/sbin

# 使环境变量设置生效
hadoop@zq:~$ source ~/.bashrc

环境变量设置成功后,执行命令时系统会从环境变量路径中查找命令,即可以在任何路径使用命令

例如这里实在hadoop用户目录下,而不用再特意到 /usr/local/hadoop/sbin/ 路径下执行命令

 

posted @ 2021-03-16 22:46  a最简单  阅读(964)  评论(0编辑  收藏  举报