hadoop学习笔记第一次

这周学习了大数据之hadoop，这一周的学习主要围绕在hadoop集群配置及其华宁的搭建，hadoop是采用多态服务器的分布式系统，主要的核心就是hdfs,mapreduce,yarn等等，hadoop配置时候在主机上遇到了蛮多的问题现在就来记录一下。

1.首先是一些基础命令：

回退/进入目录命令：cd ..或cd /****

创建目录 ：mkdir /***

删除目录 ：rm -rf ****

hadoop集群格式化：hadoop namenode -format

开启集群：start-all.sh

关闭集群：stop-all.sh

分发命令 scp -r 文件位置*** root@hadoop***: ****(文件位置）

设置免密登录：首先进入到.ssh文件夹下，然后ssh-keygen回车，然后ssh-copy-id ***

2.问题集合：

初始化问题：在初始化节点之前需要配置好core-site.xml，hdfs.xml，yarn.site.xml，mapred-site.xml这四个文件，初始化只能进行一次，重新格式化需要删除data和logs文件。

主机配置问题：vim /etc/hosts进入后删除127的ip地址 然后重启网络。

启动集群问题：启动后如果没有DataNode或者namenode，那就很有可能核心配置文件和hdfs文件配置问题，需要先正确配置we文件然后删除data文件重新初始化

在webui界面只有主句一个节点，其他服务器节点没有显示：很有可能是9000端口不能被访问，即主机配置有问题，9000端口前的ip地址不能是127.0.0.0，必须是你主机的ip。