大数据-hadoop-环境搭建-伪分布式模式

伪分布式模式的配置是按照完全分布式模式来搭建的，但是他只有一台服务器，适合用于学习。

下面的文件配置都是尚硅谷课程中做的笔记：

配置集群：

需要配置文件：

第一个文件：

 

 

 

 第二个文件：

 

 第三个文件：

 

 默认的副本数是3，

接下来就要启动集群，

第一步：格式化namenode(只有第一次需要格式化，格式化就是把集群上的数据全部清空）

bin/hdfs namenode -format

第二部 ：启动NameNode

sbin/hadoop-daemon.sh start namenode

 

 查看是否启动成功

第三步：启动DataNode

sbin/hadoop-daemon.sh start datanode

 

 检查是否可以工作了，通过 netstat -ntlp 命令查看端口号：

 

 在windows的浏览器中输入网址：hadoop1:9870

 

 

 如果这个网址出不来，可以检查防火墙是否关闭，检查windows和虚拟机是否相互可以ping通。

在伪分布式模式下，创建文件：

bin/hdfs dfs -mkdir -p /uesr/atguigu/input

 

 在这个网站里就可以看到刚刚创建的内容。

 

 现在这里就相当于本地文件，要把本地文件wcinput上传到hdfs,

bin/hdfs dfs -put wcinput/wc.input /user/atguigu/input

 

 接下来在hdfs上运行一个wordcount

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.0.jar wordcount /user/atguigu/input /user/atguigu/output