centos6.6安装hadoop-2.5.0（二、伪分布式部署）
操作系统：centos6.6（一台服务器）
环境：selinux disabled；iptables off；java 1.8.0_131
安装包：hadoop-2.5.0.tar.gz
伪分布式环境（适用于学习环境）
安装步骤：
1、解压安装包
# tar zxvf hadoop-2.5.0.tar.gz -C /data/hadoop/hadoopfake/
2、配置hadoop参数
1）设置环境变量 #vim /etc/profile
追加下面两行：
export HADOOP_HOME=/data/hadoop/hadoopfake/hadoop-2.5.0
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
#source /etc/profile 使环境变量生效
#echo $HADOOP_HOME 验证hadoop参数
2）设置JAVA_HOME参数
分别修改/data/hadoop/hadoopfake/hadoop-2.5.0/etc/hadoop/下的hadoop-env.sh、mapred-env.sh、yarn-env.sh文件的JAVA_HOME参数
（如果JAVA_HOME在/etc/expofile或者~/.bashrc设置了环境变量export JAVA_HOME，那以上文件不用修改JAVA_HOME的参数）
3）配置core-site.xml文件
#vim /data/hadoop/hadoopfake/hadoop-2.5.0/etc/hadoop/core-site.xml
fs.defaultFS参数设置的是hdfs的地址；
hadoop.tmp.dir设置的是hadoop的临时目录，例如namenode的数据都会默认存放在这个目录；如果不配置这个参数，namenode数据会默认放在/tmp/hadoop*目录下，操作系统重启这个目录的所有数据都会清空，namenode的元数据会丢失，所以最好新建目录存放namenode的元数据。
4）配置hdfs-site.xml文件
#vim /data/hadoop/hadoopfake/hadoop-2.5.0/etc/hadoop/hdfs-site.xml
dfs.replication配置的是HDFS存储时的备份数量，伪分布式环境只有一个节点，所以设置为1就可以。
3、格式化、启动HDFS
#/data/hadoop/hadoopfake/hadoop-2.5.0/bin/hdfs namenode -format 格式化hdfs
#ll /data/hadoop/hadoopfake/tmp/dfs/name/current 查看格式化后的目录
格式化是对分布式文件系统HDFS中的datanode进行分块，统计所有分块后的初始元数据存储在namenode中
格式化后hadoop.tmp.dir下面有dfs目录则格式化成功
fsimage是namenode元数据在内存满了后，持久化保存到文件
fsimage*md5是校验文件，用于校验fsimage的完整性
seen_txid是hadoop的版本
VERSION：namespaceID是namenode的唯一ID
clusterID是集群的ID，namenode和datanode集群ID一致时表明是一个集群
4、启动namenode
#/data/hadoop/hadoopfake/hadoop-2.5.0/sbin/hadoop-daemon.sh start namenode
5、启动datanode
#/data/hadoop/hadoopfake/hadoop-2.5.0/sbin/hadoop-daemon.sh start datanode
6、启动secondarynamenode
#/data/hadoop/hadoopfake/hadoop-2.5.0/sbin/hadoop-daemon.sh start secondarynamenode
7、使用jps命令查看node是否启动
#jps
8、测试创建目录，上传文件
#hadoop fs -mkdir /demo1
#hadoop fs -put /etc/passwd /demo1
#hadoop fs -cat /demo1/passwd 读取文件内容
#hadoop fs -get /demo1/passwd
9、配置启动YARN
1）配置mapred-site.xml
#cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
#vim etc/hadoop/mapred-site.xml
指定mapreduce运行在yarn框架上
2）配置yarn-site.xml
#vim etc/hadoop/yarn-site.xml
yarn.nodemanager.aux-services配置了yarn的默认混洗方式，选择为mapreduce的默认混洗算法
yarn.resourcemanager.hostname指定了Resourcemanager运行在哪个节点上
3）启动Resourcemanager
#vim /etc/hosts
#/sbin/yarn-daemon.sh start resourcemanager
#jps
4）启动nodemanager
#/sbin/yarn-daemon.sh start nodemanager
#jps
5）web界面
10、运行mapreduce job
1）创建输入目录
#hadoop fs -mkdir -p /wordcountdemo/input
2）创建文件并上传到/wordcountdemo/input目录中
#cat wc.input
#hadoop fs -put wc.input /wordcountdemo/input/
3）运行wordcount mapreduce job
#bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-example-2.5.0.jar wordcount /wordcountdemo/input /wordcountdemo/output
#hadoop fs -ls /wordcountdemo/output 查看输出结果
_SUCCESS文件是个空文件，只是来说明job执行成功
part-r-00000是结果文件，-r-说明这个文件是reduce阶段产生的结果，如没有reduce则应该是-m-
#hadoop fs -cat /wordcountdemo/output/part-r-00000 查看输出文件内容
11、停止hadoop
#sbin/hadoop-daemon.sh stop namenode
#sbin/hadoop-daemon.sh stop datanode
#sbin/hadoop-daemon.sh stop secondarynode
#sbin/yarn-daemon.sh stop resourcemanager
#sbin/yarn-daemon.sh stop nodemanager
12、开启历史服务
开启历史服务可在web界面上查看yarn上执行的job情况等信息
#sbin/mr-jobhistory-daemon.sh start historyserver
正在执行中的任务
