Hadoop环境安装
Hadoop环境安装设置
1、创建hadoop用户，用来管理hadoop
[root@nq-node2 ~]# useradd hadoop
[root@nq-node2 ~]# su - hadoop
[hadoop@nq-node2 ~]$ ssh-keygen -t rsa
2、安装java环境
tar xf jdk1.7.tar.gz -C /usr/local/
配置环境变量
vim /etc/profile
export JAVA_HOME=/usr/local/jdk
export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
export CLASSPATH=.$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$JAVA_HOME/lib/tools.jar
3、单机环境安装hadoop
tar xf hadoop-2.6.1.tar.gz -C /usr/local/
mv hadoop-2.6.1/ hadoop
配置环境变量：
echo 'export PATH=/usr/local/hadoop/bin:$PATH' >>/etc/profile
设置hadoop环境变量
vim /etc/profile
export HADOOP_HOME=/usr/local/hadoop
4、检验hadoop环境是否正确
[root@nq-node2 local]# hadoop version
Hadoop 2.6.1
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r b4d876d837b830405ccdb6af94742f99d49f9c04
Compiled by jenkins on 2015-09-16T21:07Z
Compiled with protoc 2.5.0
From source with checksum ba9a9397365e3ec2f1b3691b52627f
This command was run using /usr/local/hadoop/share/hadoop/common/hadoop-common-2.6.1.jar
5、实例：计算单词的总数
hadoop默认提供了示例文件MarReduce的基本功能
/usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.1.jar
步骤1：
创建输入临时目录的内容文件
[root@nq-node2 ~]# mkdir /input
[root@nq-node2 ~]# cp $HADOOP_HOME/*.txt /input/
步骤2：
启动Hadoop进程计数在所在输入目录中可用的文件的单词总数
[root@nq-node2 input]# hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.1.jar wordcount /input/ output
步骤3：
查看输出内容：
[root@nq-node2 input]# cat output/*
模拟分布式模式安装Hadoop：
1、配置hadoop的环境
vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh
25 export JAVA_HOME=/usr/local/jdk
2、core-site.xml
core-site.xml文件中包含如读/写缓冲器用于Hadoop的实例的端口号的信息，分配给文件系统存储，用于存储所述数据存储器的限制和大小。
3、hdfs-site.xml
hdfs-site.xml 文件中包含如复制数据的值，NameNode路径的信息，，本地文件系统的数据节点的路径。这意味着是存储Hadoop基础工具的地方。
4、yarn-site.xml
此文件用于配置成yarn在Hadoop中
5、mapred-site.xml
此文件用于指定正在使用MapReduce框架。缺省情况下，包含Hadoop的模板yarn-site.xml。首先，它需要从mapred-site.xml复制。获得mapred-site.xml模板文件使用以下命令。
$ cp mapred-site.xml.template mapred-site.xml
6、验证Hadoop安装
1.名称节点设置
hadoop namenode -format
2、验证DFS
cd /usr/local/hadoop/sbin/
./start-dfs.sh
3、验证Yarn脚本
./start-yarn.sh
7、浏览器访问Hadoop
访问Hadoop默认端口号为50070，使用以下网址获得浏览器Hadoop的服务。
8、验证所有应用程序的集群
访问集群中的所有应用程序的默认端口号为8088。使用以下URL访问该服务。
文件附件如下：
https://files.cnblogs.com/files/yangxutao/yarn-site.xml
https://files.cnblogs.com/files/yangxutao/mapred-site.xml
