01初步启动Hadoop服务
1.rz命令将hadoop压缩包上传至Linux服务器中
2.tar -zxvf hadoop-2.7.7.tar.gz(解压即可用）
3.将解压出来的hadoop移到想要放的位置 mv hadoop-2.7.7 ../software
4.配置六个文件
配置文件在etc目录下
1.hadoop-env.sh cd /opt/software/hadoop-2.7.7 vim etc/hadoop/hadoop-env.sh export JAVA_HOME=/opt/software/jdk1.8 #修改25行 export HADOOP_CONF_DIR=/opt/software/hadoop-2.7.7/etc/hadoop #修改33行 2.core-site.xml <configuration> <!--指定HDFS中NameNode的地址--> <property> <name>fs.defalutFS</name> <value>hdfs://主机名:9000</value> </property> <!--指定hadoop运行是产生文件的存储目录--> <property> <name>hadoop.tmp.dir</name> <value>/opt/software/hadoop-2.7.7/tmp</value> </property> </configuration> 3.hdfs-site.xml <configuration> <!--指定HDFS副本的数量--> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> </configuration> 4.mapred-site.xml <configuration> <!--指定mr运行在yarn上--> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> 5.yarn-site.xml <configuration> <!--指定yarn的ResourceManager的地址--> <property> <name>yarn.resourcemanager.hostname</name> <value>主机名</value> </property> <!--指定reduce获取数据的方式--> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration> 5.slaves 主机名
5.给hadoop配置环境变量
vim /etc/profile
JAVA_HOME=/opt/software/jdk1.8
HADOOP_HOME=/opt/software/hadoop-2.7.7
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
6.修改主机映射
vim /etc/hosts
192.168.2.121 主机名
7.格式化文件系统
hadoop namenode -format
8.关闭安全相关
systemctl stop firewalld
systemctl disable firewalld //关闭防火墙
vim /etc/selinux/config
SELINUX=disabled
systemctl stop NetworkManager
systemctl disable NetworkManager
9.启动hadoop服务
start-all.sh //启动所有
stop-all.sh(关闭hadoop)
hadoop-daemon.sh start namenode //启动NameNode
hadoop-daemon.sh start datanode //启动DataNode
yarn-daemon.sh start resourcemanager //启动ResourceManager
yarn-daemon.sh start nodemanager //启动NodeManager
10.WEB端查看
http://192.168.2.121:50070 //查看NameNode的状态
http://192.168.2.121:50075 //查看DataNode的状态
http://192168.2.121:50090 //查看SecondaryNameNode的状态
11.HDFS的一些方法
1.创建文件
hadoop fs -mkdir -p /user/upload
2.上传文件
hadoop fs -put 需上传的文件路径 /user/upload
3.下载文件
hadoop fs -get 需下载的文件路径
4.查看文件
hadoop fs -ls 路径
4.删除文件
hadoop fs -rm 路径
注意事项：
1.多次使用hadoop namenode -format格式化时会造成spaceID不一致，启动不了datanode节点
解决方案：
1.停止集群
stop-all.sh
2.删除在hdfs中配置的data目录(即在core-site.xml中配置的hadoop.tmp.dir对应文件夹)下面的所有数据
rm -rf tmp
3.重新格式化namenode
hdfs namenode -format 或者 hadoop namenode -format
4.重新启动hadoop集群
start-all.sh
