Hadoop 伪分布式模式配置
伪分布式模式:
存储采用分布式文件系统HDFS,但HDFS的名称节点和数据节点都在同一台机器上
配置步骤:
- 修改core-site.xml、hdfs-site.xml配置文件
- 执行名称节点格式化
- 启动 Hadoop
- Web查看Hdfs信息
- 关闭 Hadoop
- 配置环境变量
1. 修改core-site.xml、hdfs-site.xml配置文件
core-site.xml、hdfs-site.xml两个配置文件位于hadoop/etc/hadoop目录下
hadoop@zq:/usr/local/hadoop/etc/hadoop$ ls
capacity-scheduler.xml kms-log4j.properties
...... ...... ......
core-site.xml mapred-env.cmd
...... ...... ......
hdfs-site.xml ssl-server.xml.example
....... ...... ......
hadoop@zq:/usr/local/hadoop/etc/hadoop$
修改core-site.xml文件的内容,将 <configuration> </configuration> 中添加属性对添加如下内容:
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
同理,修改配置文件hdfs-site.xml,修改后的内容:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/tmp/dfs/data</value>
</property>
</configuration>
2. 执行名称节点格式化
hadoop@zq:/usr/local/hadoop/etc/hadoop$ cd /usr/local/hadoop/bin
hadoop@zq:/usr/local/hadoop/bin$ ./hdfs namenode -format
显示格式化成功
3. 启动 Hadoop
跳到/usr/local/hadoop/sbin路径下,启动 Hadoop
hadoop@zq:/usr/local/hadoop/sbin$ ./start-dfs.sh
4. Web查看Hdfs信息
打开浏览器,输入地址:localhost:9870
注意:如果用的是虚拟机,在虚拟机的浏览器中本地链路访问,在Windows的浏览器中访问是访问不到的
5. 关闭Hadoop
hadoop@zq:/usr/local/hadoop/sbin$ ./stop-dfs.sh
6. 配置环境变量
# 编辑环境变量
hadoop@zq:~$ vim ~/.bashrc
在.bashrc文件中追加一行
export PATH=$PATH:/usr/local/hadoop/sbin
# 使环境变量设置生效
hadoop@zq:~$ source ~/.bashrc
环境变量设置成功后,执行命令时系统会从环境变量路径中查找命令,即可以在任何路径使用命令
例如这里实在hadoop用户目录下,而不用再特意到 /usr/local/hadoop/sbin/ 路径下执行命令