Ubuntu 16下配置多节点Hadoop和Spark
记录一下配置多节点Hadoop和Spark的过程。
建立三个节点node，分别是node0，node1，node2.其中node0作为master节点。三台云虚拟机均为Ubuntu 16版本，Hadoop为3.1.4版本，Spark为2.4.7版本。
Hadoop
首先是下载和配置Hadoop.
第一步，更新软件包，安装Java
sudo apt-get update --fix-missing
sudo apt-get install openjdk-8-jdk
第二步，生成master节点ssh的公有key，并分别拷贝到所有节点的~/.ssh/authorized_keys，从而允许master和slave nodes之间通讯。特别注意，在master节点生成公有key的时候，不需要设置任何密码。
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub
vim ~/.ssh/authorized_keys
第三步，在三个节点下分别下载Hadoop 3.1.4并解压缩
wget http://apache.mirrors.hoobly.com/hadoop/common/hadoop-3.1.4/hadoop-3.1.4.tar.gz
tar zvxf hadoop-3.1.4.tar.gz
第四步，修改三个节点的配置文件hadoop-3.1.4/etc/hadoop/core-site.xml，设置value为master节点的ip，这里设置为10.10.1.1.注意，三个节点均需要设置为master节点的ip.
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://10.10.1.1:9000</value>
</property>
</configuration>
第五步，分别在三个节点新建namenode和datanode文件
mkdir /mnt/data/hadoop/hadoop-3.1.4/data/namenode
mkdir /mnt/data/hadoop/hadoop-3.1.4/data/datanode
修改hadoop-3.1.4/etc/hadoop/hdfs-site.xml，并设置为刚才新建文件夹的路径
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/mnt/data/hadoop/hadoop-3.1.4/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/mnt/data/hadoop/hadoop-3.1.4/data/datanode</value>
</property>
</configuration>
第六步，hadoop-3.1.4/etc/hadoop/hadoop-env.sh，添加JAVA_HOME，可以使用如下命令查看JAVA_HOME：
update-alternatives --display java
JAVA_HOME案例路径如下：/usr/lib/jvm/java-8-openjdk-amd64/jre
接下来，分别在三个节点修改hadoop-3.1.4/etc/hadoop/workers，移除localhost并添加所有节点的ip
10.10.1.1
10.10.1.2
10.10.1.3
之后，修改环境变量
export PATH=$PATH:/mnt/data/hadoop/hadoop-3.1.4/bin
export PATH=$PATH:/mnt/data/hadoop/hadoop-3.1.4/sbin
运行Hadoop，查看是否成功
hdfs namenode -format
start-dfs.sh
Spark
下面介绍如何配置Spark，首先下载Spark
wget http://mirror.metrocast.net/apache/spark/spark-2.4.7/spark-2.4.7-bin-hadoop2.7.tgz
tar zvxf spark-2.4.7-bin-hadoop2.7.tgz
接下来，修改网络配置文件，修改各个template的文件名，包括conf/slaves和conf/spark-env.sh. 在conf/slaves下移除localhost并添加所有节点的ip
mv spark-2.4.7-bin-hadoop2.7/conf/slaves.template spark-2.4.7-bin-hadoop2.7/conf/slaves
10.10.1.1
10.10.1.2
10.10.1.3
修改conf/spark-env.sh并分别设置master和slave的ip：
SPARK_MASTER_HOST=10.10.1.1
SPARK_LOCAL_IP=10.10.1.1
设置完毕后，运行Spark
spark-2.4.7-bin-hadoop2.7/sbin/start-all.sh
