Hadoop伪分布式搭建

作者：gqk：

　　单机环境：可以直接执行mareduce-examples.jar案例

　　伪分布式：一个服务器上运行多个进程

HDFS:伪分布式配置

Hadoop配置文件的配置：　

　　a,配置核心文件（路径/opt/module/hadoop-2.7.5/etc/hadoop）

　　

　　配置：vim core-site.xml　　 

<configuration>
　　<!--指定namenode的地址-->
　　<property>
　　　　<name>fs.defaultFS</name>
　　　　<value>hdfs://gqk1:8020</value>
　　</property>
</configuration>

　　配置：hdfs-site.xml 

  <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>

　　  格式化NameNode--------清空主节点NameNode目录下的所有数据生成目录结构初始化一些数据到文件中

　　  进入：/opt/module/hadoop-2.7.5/bin 有个hdfs的文件

　

　　执行./hdfs

　　

　　执行： ./hdfs namenode -format 格式化(查看官网 查找生成文件的目录)

　　在hdfs-site.xml 查找

　　

　　在core-site.xml　查找

　　

　　　启动HDFS各个进程

　　

　　启动后必须输入密码（没有配置ssh免秘钥链接）

　　启动完成查看进程 jps

　　

　　如果用主机名称访问需要映射：

　　

　　

　　通过主机名称或者ip地址访问50070端口

　　http://192.168.85.128:50070

　　

　　如果出现window系统不能访问虚拟机上可以执行：

　　关闭命令：  service iptables stop 
        永久关闭防火墙：chkconfig iptables off

　　

 　　　　　　　　　　./stop-dfs.sh 停止进程；

如果虚拟机不能上网的话：

　　

 

---

 

yarn的伪分布式配置：

　　  mapred-site.xml配置（/opt/module/hadoop-2.7.5/etc/hadoop）

　　  需要对文件进行改名：mv mapred-site.xml.template mapred-site.xml

　　  编辑：

　　mapreduce运行在yarn之上，默认伪local

<configuration>
   <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

　　yarn-site.xml配置

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

　　配置完成后；启动yarn的服务：

　　[root@gqk1 sbin]# ./start-yarn.sh    出现一下节点：

　　

　　访问yarn HTTP端口8088：http://gqk1:8088