Hadoop2.6 安装布置问题总结（单机、分布式）
在debian7虚拟机上安装hadoop2.6，期间遇到一些问题在此记录一下。
安装参考：
Hadoop安装教程_单机/伪分布式配置_Hadoop2.6.0/Ubuntu14.04
Hadoop集群安装配置教程_Hadoop2.6.0_Ubuntu/CentOS
1、安装后出现
...
master: Error: JAVA_HOME is not set and could not be found.
...
需要看下对应日志的详细错误信息，在安装hadoop目录下(我的设置 HADOOP_PREFIX=/usr/local/hadoop) $HADOOP_PREFIX/logs/hadoop-hadoop-node-debian.log，根据信息可知道hadoop在运行环境中找不到 JAVA_HOME 变量，找不到jdk的位置
输入 env 发现我们已经设置了，但是hadoop发现不了，解决方法修改hadoop的环境设置文件，使用jdk的绝对路径：
在 $HADOOP_PREFIX/etc/hadoop/hadoop-env.sh 中，可以发现
export JAVA_HOME=${JAVA_HOME}
将${JAVA_HOME} 改成jdk绝对路径(我的jdk路径为 /usr/lib/jvm/jdk1.8.0_111)，即
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_111
修改后重启hadoop，问题解决
2、启动 start-dfs.sh 失败
启动dfs时（sh ./sbin/start-dfs.sh）出现报错
...
Syntax error: word unexpected (expecting “)”)”
...
根据其信息找到对应的脚步文件发现并没有问题，最后发现是bash的问题，sh 等同于 bash --posix，直接启动或使用bash启动就正常了：
./sbin/start-dfs.sh
或
bash ./sbin/start-dfs.sh
参考：https://blog.csdn.net/qq_16018407/article/details/78899796
3、启动start-dfs.sh后，使用jps发现 namesecondary进程不在，其对应报错：
...
... FATAL org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Failed to start secondary namenode
java.net.BindException: Port in use: 0.0.0.0:50090
...
发现端口已存在被占用，应该是前面启动失败时导致的问题解决方法就是找到对应的进程id然后kill掉：
sudo lsof -i:50090 -P //找到对应的进程id
sudo kill -9 PID //kill掉对应的进程
再重启 start-dfs.sh即可（先执行stop-dfs.sh），问题解决
参考：
Hadoop 安装配置错误总结
更新至 2018-6-5
最近搭了一个四台虚拟机的分布式集群，和进行了一次动态增加节点，故把遇到的问题分享一下。
4、克隆虚拟机：
我使用的是VMware Workstation，右键配置好的虚拟机--》管理--》克隆--》一直下一步到命名新虚拟机，指定安装位置--》完成
之后要编辑虚拟机--》网络适配器--》高级--》重新生成Mac地址--》确定。
5、指定ip和主机名
编辑 /etc/network/interfaces 文件可指定ip 和 网关等信息，然后可以使用 /etc/init.d/networking restart 重启生效；
编辑 /etc/hostname 文件可指定主机名，同时还需要修改 /etc/hosts 文件修改集群中的 ip和name关系，方便使用；
6、同步时间ntp
先下载ntp：
apt-get install ntp
然后修改ntp设置：
server [ip] iburst
重启：
/etc/init.d/ntp restart
查看结果：
ntpq -p
7、动态增加节点步骤：
- a、修改新服hostname和hosts文件，hosts文件需要同步到集群所有服务器
- b、设置所有namendoe免密登录到新服
- c、修改主节点slave文件，添加新增节点的ip信息（集群重启时使用）
- d、将hadoop的配置文件scp到新的节点上
- e、添加datanode：
-
在新增的节点上，运行sbin/hadoop-daemon.sh start datanode即可
-
然后在namenode通过hdfs dfsadmin -report查看集群情况
（后面3步没用到）
-
最后还需要对hdfs负载设置均衡，因为默认的数据传输带宽比较低，可以设置为64M，即hdfs dfsadmin -setBalancerBandwidth 67108864即可
-
默认balancer的threshold为10%，即各个节点与集群总的存储使用率相差不超过10%，我们可将其设置为5%
-
然后启动Balancer，sbin/start-balancer.sh -threshold 5，等待集群自均衡完成即可
- f、添加nodemanager：
- 在新增节点，运行sbin/yarn-daemon.sh start nodemanager即可
- 在ResourceManager，通过yarn node -list查看集群情况
参考：
Hadoop 2.6.0动态添加节点
更新至2018-7-12
