HADOOP及SPARK安装步骤及问题解决
说明：主节点IP：192.168.35.134 主机名：master
从节点slave1 IP: 192.168.35.135 主机名：slave1
从节点slave2 IP: 192.168.35.136 主机名：slave2
1、检查环境，安装JDK：
Linux系统：用root用户登陆到系统，用如下命令查看当前安装jdk情况：
rpm -qa|grep jdk
显示：java version "1.8.0_131" 若版本过低，用如下命令卸载jdk：
rpm -e --nodeps jdk1.8.0_131
下载好jdk安装包，使用WinSCP工具将安装包上传到主节点目录下。切换至用户模式：su - 用户名(如test)。
新建用户组：
groupadd hadoop
新建用户：
useradd hadoop
新建jdk安装目录：
mkdir /home/java;
执行命令：
tar -zxvf jdk-8u131-linux-x64.tar.gz -C /home/java
将jdk安装在指定目录/home/java下。等待安装，安装完后配置jdk环境变量，配置在/home/test/.bash_profile。
执行命令：
vim /home/test/.bash_profile
键盘按“i”，进入编辑模式，在下方新增如下内容：
export JAVA_HOME=/home/java/jdk1.8.0_131
export CLASSPATH=$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
键盘按“：wq!”保存更改的配置项。终端输入：
source /home/test/.bash_profile
检查jdk是否安装成功，终端输入：
java -version
显示：
则表明安装成功。
2、配置主机名（root身份）：
vim /etc/sysconfig/network
修改如下信息：
NETWORKING=yes
HOSTNAME=master
检查是否成功：
hostname
显示：master。则表示配置成功。其他从节点主机名均修改成相应的主机名。
3、配置host列表（root身份）：
vim /etc/hosts
将下面内容添加至文件中：
192.168.35.134 master
192.168.35.135 slave1
192.168.35.136 slave2
住：若不知道本机ip地址，可使用命令：ipconfig或 ip addr show查看。
3、配置时钟同步（root身份），请参考这篇文章：
4、关闭防火墙（root身份）：
查看防火墙状态，如下命令，若iptables已开启，需关闭防火墙。
service iptables status
关闭防火墙命令：
chkconfig iptables off
5、各服务器节点之间配置SSH免密登录（用户身份登录）：
终端输入：
ssh-keygen -t rsa
在各节点分别进入/home/hadoop/.ssh目录，在三个节点中分别把公钥id_rsa.pub命名为authorized_keys_master、authorized_keys_slave1和authorized_keys_slave2，使用命令如下：
cd /home/hadoop/.ssh
cp id_rsa.pub authorized_keys_hadoop1
把两个从节点(slave1、slave2)的公钥使用scp命令传送到master节点的/home/hadoop/.ssh文件夹中；
scp authorized_keys_slave1 hadoop@master:/home/hadoop/.ssh--在slave1节点上执行该条命令；
scp authorized_keys_slave2 hadoop@master:/home/hadoop/.ssh--在slave2节点上执行该条命令；
在主节点上把三个节点的公钥信息保存到authorized_keys文件中，主节点终端输入如下命令：
cat authorized_keys_master >> authorized_keys
cat authorized_keys_slave1 >> authorized_keys
cat authorized_keys_slave2 >> authorized_keys
把authorized_keys文件分发到其他两个从节点上，使用如下命令：
scp authorized_keys hadoop@slave1:/home/hadoop/.ssh
scp authorized_keys hadoop@slave2:/home/hadoop/.ssh
在三台机器中使用如下设置authorized_keys读写权限
chmod 400 authorized_keys
测试ssh免密码登录是否生效:
ssh slave1
ssh slave2
能跳转至其他节点，则表明免密已生效，exit命令退出。
6、安装hadoop：
同样使用WinSCP工具将hadoop安装包上传到主节点目录下，新建hadoop安装目录：
mkdir /home/hadoop
执行命令：
tar -zxvf hadoop-2.8.2.tar.gz -C /home/hadoop
等待安装，安装后，配置环境变量。
6.1 配置hadoop-env.sh环境变量，执行命令：
vim /home/hadoop/hadoop-2.8.2/etc/hadoop/hadoop-env.sh
找到如下一行代码：
export JAVA_HOME=${JAVA_HOME}
将其改为：
export JAVA_HOME=/home/java/jdk1.8.0_131
保存即可。
6.2 配置yarn-env.sh环境变量
6.3 配置组件core-site.xml
6.4 配置文件系统hdfs-site.xml
6.5 配置文件系统yarn-site.xml
6.6 配置计算框架mapred-site.xml
6.7 配置从节点文件slaves
6.8 将上述安装好的hadoop复制到slave1和slave2节点。
6.9 配置hadoop系统环境变量
6.10 创建数据目录
6.11 格式化文件系统
6.12 启动hadoop集群
7、安装spark
8、问题及解决方法
问题一：hadoop的集群无法正常启动，其中jps命令错误。
分析原因：可能是.bash_profile文档需要重新source。Source的功能就是通常用于重新执行刚修改的初始化文件，使之立即生效，而不必注销并重新登录。（说明白点就是让修改过的文档重新生效）
解决方案：source下.bash_profile文件。
问题二：Spark提交Pi应用报错，日志显示：ERROR yarn.ApplicationMaster: Uncaught exception: java.lang.ClassNotFoundException: org.apache.spark.examples.SparkPi
分析原因：是jar包有问题
解决方案：换一个好的jar包再执行正确。
问题三：hadoop运行pi任务失败，日志显示：
ERROR client.TransportClient: Failed to send RPC 6920585401247025097 to /192.168.42.162:60956: java.nio.channels.ClosedChannelException
java.nio.channels.ClosedChannelException
at io.netty.channel.AbstractChannel$AbstractUnsafe.write(...)(Unknown Source)
分析原因：内存溢出
解决方案：在yarn-site.xml中增加两个配置项：
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
说明：yarn.nodemanager.vmem-check-enabled是否启动一个线程检查每个任务正使用的虚拟内存量，如果任务超出分配值，则直接将其杀掉，默认是true。
问题四：启动hadoop后，Spark提交Pi应用报错，日志显示：
pplication application_1511319158710_0002 failed 2 times due to AM Container for appattempt_1511319158710_0002_000002 exited with exitCode: 10
Failing this attempt.Diagnostics: Exception from container-launch.
Container id: container_1511319158710_0002_02_000001
Exit code: 10
分析原因：yarn-site.xml中value配置有空格
解决方案：yarn-site.xml中value配置不能有空格；
