centos6.8系统安装 Hadoop 2.7.3伪分布式集群

安装 Hadoop 2.7.3

配置ssh免密码登陆

cd ~/.ssh                       # 若没有该目录，请先执行一次ssh localhost
ssh-keygen -t rsa               # 会有提示，都按回车就可以
cat id_rsa.pub >> authorized_keys # 加入授权
chmod 600 ./authorized_keys # 修改文件权限

1.此处我们选择二进制安装包

http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

解压：
tar -zxf hadoop-2.7.3.tar.gz
我们解压到了/data/yunva/hadoop-2.7.3目录

输入如下命令来检查 Hadoop 是否可用，成功则会显示 Hadoop 版本信息
cd /data/yunva/hadoop-2.7.3
# bin/hadoop version
Hadoop 2.7.3
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r baa91f7c6bc9cb92be5982de4719c1c8af91ccff
Compiled by root on 2016-08-18T01:41Z
Compiled with protoc 2.5.0
From source with checksum 2e4ce5f957ea4db193bce3734ff29ff4
This command was run using /data/yunva/hadoop-2.7.3/share/hadoop/common/hadoop-common-2.7.3.jar

2.Hadoop单机配置(非分布式)

修改 hosts 文件，为你的主机名增加IP映射
vim /etc/hosts
10.10.33.84 ha01
Hadoop 默认模式为非分布式模式，无需进行其他配置即可运行。非分布式即单 Java 进程，方便进行调试。
现在我们可以执行例子来感受下 Hadoop 的运行。Hadoop 附带了丰富的例子（运行 ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jarr 可以看到所有例子），包括 wordcount、terasort、join、grep 等。

在此我们选择运行 grep 例子，我们将 input 文件夹中的所有文件作为输入，筛选当中符合正则表达式 dfs[a-z.]+ 的单词并统计出现的次数，最后输出结果到 output 文件夹中。
cd /data/yunva/hadoop-2.7.3/
mkdir input
cp etc/hadoop/*.xml input   # 将配置文件作为输入文件
# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep ./input ./output 'dfs[a-z.]+' 
# cat ./output/*
1 dfsadmin

通过命令 cat ./output/* 查看结果，符合正则的单词 dfsadmin 出现了1次：

注意:Hadoop 默认不会覆盖结果文件，如需要再次运行上面实例需要先将 output 删除。

3.Hadoop伪分布式配置

Hadoop 可以在单节点上以伪分布式的方式运行，Hadoop 进程以分离的 Java 进程来运行，节点既作为 NameNode 也作为 DataNode，同时，读取的是 HDFS 中的文件。

在设置 Hadoop 伪分布式配置前，我们还需要设置 HADOOP 环境变量，执行如下命令在 /etc/profile 中设置：

export HADOOP_HOME=/data/yunva/hadoop-2.7.3
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

保存后，执行如下命令使配置生效
source /etc/profile

这些变量在启动 Hadoop 进程时需要用到，不设置的话可能会报错（这些变量也可以通过修改 ./etc/hadoop/hadoop-env.sh 实现）。

Hadoop 的配置文件位于 /data/yunva/hadoop-2.7.3 中，伪分布式需要修改2个配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每个配置以声明 property 的 name 和 value 的方式来实现。

①修改配置文件 core-site.xml (/etc/hadoop/core-site.xml)

修改为下面配置：
<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/data/yunva/hadoop-2.7.3/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>  
    <name>dfs.namenode.rpc-bind-host</name>  
    <value>0.0.0.0</value>  
</property>

</configuration>

②同样的，修改配置文件 hdfs-site.xml：

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/data/yunva/hadoop-2.7.3/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/data/yunva/hadoop-2.7.3/tmp/dfs/data</value>
    </property>
</configuration>

③配置完成后，执行 NameNode 的格式化:

./bin/hdfs namenode -format

成功的话，会看到 “successfully formatted” 和 “Exitting with status 0” 的提示，若为 “Exitting with status 1” 则是出错。

④接着开启 NaneNode 和 DataNode 守护进程：
./sbin/start-dfs.sh

若出现如下 SSH 的提示 “Are you sure you want to continue connecting”，输入 yes 即可

报错：
# ./sbin/start-dfs.sh
17/03/21 15:36:00 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Starting namenodes on [localhost]
localhost: Error: JAVA_HOME is not set and could not be found.
解决办法：
hadoop-env.sh 和  yarn-env.sh 添加如下变量

# egrep -v "#|^$" hadoop-env.sh 
export JAVA_HOME=/usr/java/jdk1.8.0_111
export HADOOP_SSH_OPTS="-p 2222"  # ssh端口非默认22端口
export HADOOP_HOME=/data/yunva/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export  HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export  HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"

# egrep -v "#|^$" yarn-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_111
export HADOOP_HOME=/data/yunva/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export  HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export  HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"

成功启动后，可以访问 Web 界面 http://ip:50070 查看 NameNode 和 Datanode 信息，还可以在线查看 HDFS 中的文件。

4.运行Hadoop伪分布式实例

上面的单机模式，grep 例子读取的是本地数据，伪分布式读取的则是 HDFS 上的数据。要使用 HDFS，首先需要在 HDFS 中创建用户目录：

./bin/hdfs dfs -mkdir -p /user/admin

接着将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式文件系统中，即将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/admin/input 中。我们使用的是 admin 用户，并且已创建相应的用户目录 /user/admin ，因此在命令中就可以使用相对路径如 input，其对应的绝对路径就是 /user/admin/input:

./bin/hdfs dfs -mkdir /user/admin/input
./bin/hdfs dfs -put ./etc/hadoop/*.xml /user/admin/input

复制完成后，可以通过如下命令查看 HDFS 中的文件列表：
# bin/hdfs dfs -ls /user/admin/input
Found 8 items
-rw-r--r--   1 root supergroup       4436 2017-03-21 15:58 /user/admin/input/capacity-scheduler.xml
-rw-r--r--   1 root supergroup       1082 2017-03-21 15:58 /user/admin/input/core-site.xml
-rw-r--r--   1 root supergroup       9683 2017-03-21 15:58 /user/admin/input/hadoop-policy.xml
-rw-r--r--   1 root supergroup       1180 2017-03-21 15:58 /user/admin/input/hdfs-site.xml
-rw-r--r--   1 root supergroup        620 2017-03-21 15:58 /user/admin/input/httpfs-site.xml
-rw-r--r--   1 root supergroup       3518 2017-03-21 15:58 /user/admin/input/kms-acls.xml
-rw-r--r--   1 root supergroup       5511 2017-03-21 15:58 /user/admin/input/kms-site.xml
-rw-r--r--   1 root supergroup        690 2017-03-21 15:58 /user/admin/input/yarn-site.xml

若要关闭 Hadoop，则运行

./sbin/stop-dfs.sh

注意
下次启动 hadoop 时，无需进行 NameNode 的初始化，只需要运行 ./sbin/start-dfs.sh 就可以！

启动YARN
（伪分布式不启动 YARN 也可以，一般不会影响程序执行）
有的读者可能会疑惑，怎么启动 Hadoop 后，见不到书上所说的 JobTracker 和 TaskTracker，这是因为新版的 Hadoop 使用了新的 MapReduce 框架（MapReduce V2，也称为 YARN，Yet Another Resource Negotiator）。

YARN 是从 MapReduce 中分离出来的，负责资源管理与任务调度。YARN 运行于 MapReduce 之上，提供了高可用性、高扩展性，YARN 的更多介绍在此不展开，有兴趣的可查阅相关资料。

上述通过 ./sbin/start-dfs.sh 启动 Hadoop，仅仅是启动了 MapReduce 环境，我们可以启动 YARN ，让 YARN 来负责资源管理与任务调度。

首先修改配置文件 mapred-site.xml，这边需要先进行重命名：
mv mapred-site.xml.template mapred-site.xml

进行编辑
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

接着修改配置文件 yarn-site.xml：

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
        </property>
</configuration>

然后就可以启动 YARN 了（需要先执行过 ./sbin/start-dfs.sh）：

./sbin/start-yarn.sh      $ 启动YARN
./sbin/mr-jobhistory-daemon.sh start historyserver  # 开启历史服务器，才能在Web中查看任务运行情况

http://1.1.1.1:8088/cluster

执行jps报错：

最近hadoop系统在升级后发现一个诡异的问题: jps命令返回的都是process information unavailable, jstack, jmap等所有使用attach api的命令都有类似问题.
# jps
8848 -- process information unavailable
8395 -- process information unavailable
8748 -- process information unavailable
8270 -- process information unavailable

解决方法：
# chmod 755 -R /tmp

网上资料
以为是Jps有问题, 查看Jps源代码, 得知使用 jps -J-Djps.debug=true -J-Djps.printStackTrace=true 可以获得Jps错误详细信息, 如下:

16373 -- process information unavailable
    Could not attach to 16373
sun.jvmstat.monitor.MonitorException: Could not attach to 16373
    at sun.jvmstat.perfdata.monitor.protocol.local.PerfDataBuffer.<init>(PerfDataBuffer.Java:91)
    at sun.jvmstat.perfdata.monitor.protocol.local.LocalMonitoredVm.<init>(LocalMonitoredVm.java:68)
    at sun.jvmstat.perfdata.monitor.protocol.local.MonitoredHostProvider.getMonitoredVm(MonitoredHostProvider.java:77)
    at sun.tools.jps.Jps.main(Jps.java:92)
Caused by: java.io.IOException: Operation not permitted
    at sun.misc.Perf.attach(Native Method)
    at sun.misc.Perf.attachImpl(Perf.java:270)
    at sun.misc.Perf.attach(Perf.java:200)
    at sun.jvmstat.perfdata.monitor.protocol.local.PerfDataBuffer.<init>(PerfDataBuffer.java:64)
    ... 3 more

static bool is_directory_secure(const char* path) {  
  struct stat statbuf;  
  int result = 0;   
  
  RESTARTABLE(::lstat(path, &statbuf), result);  
  if (result == OS_ERR) {  
    return false;  
  }  
  
  // the path exists, now check it's mode  
  if (S_ISLNK(statbuf.st_mode) || !S_ISDIR(statbuf.st_mode)) {  
    // the path represents a link or some non-directory file type,  
    // which is not what we expected. declare it insecure.  
    //     
    return false;  
  }  
  else {  
    // we have an existing directory, check if the permissions are safe.  
    //     
    if ((statbuf.st_mode & (S_IWGRP|S_IWOTH)) != 0) {   
      // the directory is open for writing and could be subjected  
      // to a symlnk attack. declare it insecure.  
      //     
      return false;  
    }      
  }  
  return true;  
}  

确定问题是权限问题, 可抛出异常的却是native code.无奈只有下载openjdk源代码(native code部分在src.zip的jdk类库中没有源代码), 在@RednaxelaFX 的帮助下,找到了罪魁祸首:
hotspot/src/os/Linux/vm/perfMemory_linux.cpp
[root@ha01 ~]# chmod 755 -R /tmp

原来目录权限是S_IWGRP | S_IWOTH都会有问题.查看/tmp/hsperfdata_mapred发现权限被人修改成了777. 修改回755后, 问题解决.

最后,交代一下关于jps的基础知识, jps, jstack等都是通过/tmp/hsperfdata_${user_name} 来确定正在运行的java进程pid等信息. 如果启动java进程时使用-Djava.io.tmpdir 后, jps等可能会由于找不到对应的数据而有问题. 这次遇到的是该目录的权限问题.