在centos7上搭建hadoop、spark集群

1.安装jdk：

在oracle官网上下载jdk（最后市1.8以上），然后安装jdk（在linux上安装就是解压缩，一般在官网上下载的都是.tar后缀的文件），最后配置/etc/profile

下载jdk链接https://www.oracle.com/cn/java/technologies/javase/javase-jdk8-downloads.html

安装jdk:tar -zxvf jdk-8u281-linux-x64.tar.gz -C /opt/module

配置/etc/profile

添加jdk的安装路径到profile文件最后，如下：

#JAVA_HOME

export JAVA_HOME=/opt/module/jkd1.8.0_281

export PATH=$PATH:$JAVA_HOME/bin

2.安装hadoop：

下载hadoophttps://mirrors.bfsu.edu.cn/apache/hadoop/common/hadoop-2.10.1/hadoop-2.10.1.tar.gz

安装hadoop：tar -zxvf hadoop-2.10.1.tar.gz -C /opt/module

配置/etc/profile,如下：

#HADOOP_HOME

export HADOOP_HOME=/opt/module/hadoop-2.10.1

export PATH=$PATH:$HADOOP_HOME/bin

export PATH=$PATH:$HADOOP_HOME/sbi

最后$source /etc/profile

3.集群部署规划

master　

slave1

slave2

HDFS

NameNode

DataNode

SecondaryNameNode

DataNode

YARN

NodeManager

ResourceManager

NodeManager

4.配置hadoop集群：

配置文件都在hadoop安装目录下的etc/Hadoop下。

核心配置文件

配置core-site.xml,编写如下配置：

<!-- 指定HDFS中NameNode的地址 -->

<property>

　　<name>fs.defaultFS</name>

　　<value>hdfs://master:9000</value>

</property>

<!-- 指定Hadoop运行时产生文件的存储目录 -->

<property>

　　<name>hadoop.tmp.dir</name>

　　<value>/opt/module/hadoop-2.10.1/data/tmp</value>

</property>

HDFS配置文件

配置hadoop-env.sh

#配置jdk的安装路径
export JAVA_HOME=/opt/module/jdk1.8.0_144

配置hdfs-site.xml

<!-- 指定Hadoop辅助名称节点主机配置 -->

<property>

　　<name>dfs.namenode.secondary.http-address</name>

　　<value>slave2:50090</value>

</property>

YARN配置文件

配置yarn-env.sh

#配置jdk的安装路径
export JAVA_HOME=/opt/module/jdk1.8.0_144

配置yarn-site.xml

<!-- Reducer获取数据的方式 -->

<property>

　　<name>yarn.nodemanager.aux-services</name>

　　<value>mapreduce_shuffle</value>

</property>

<!-- 指定ResourceManager的地址 -->

<property>

　　<name>yarn.resourcemanager.hostname</name>

　　<value>slave1</value>

</property>

<property>

　　<name>yarn.nodemanager.pmem-check-enabled</name>

　　<value>false</value>

</property>

<property>

　　<name>yarn.nodemanager.vmem-check-enabled</name>

　　<value>false</value>

</property>

MapReduce配置文件

配置mapred-env.sh

#配置jdk的安装路径
export JAVA_HOME=/opt/module/jdk1.8.0_144

配置mapred-site.xml

cp mapred-site.xml.template mapred-site.xml

在该文件中添加如下配置

<!-- 指定MR运行在Yarn上 -->

<property>

　　<name>mapreduce.framework.name</name>

　　<value>yarn</value>

</property>

配置slaves（这个文件不允许有空行和多余的空格）

master

slave1

slave2

5.用rsync在集群上分发配置好的Hadoop配置文件

xsync /opt/module/hadoop-2.10.1(xsync是我配置的升级版rsync，只需要在用户的home目录下建一个bin文件夹，再添加一个包含以下脚本的文件即可，我把这文件命名为xsync）

#!/bin/bash
#1
pcount=$#
if((pcount==0));then
echo no args;
exit;
fi
#2
p1=$1
fname=`basename $p1`
echo fname=$fname
#3
pdir=`cd -P $(dirname $p1);pwd`
echo pdir=$pdir
#4
user=`whoami`
#5
for((host=1;host<3;host++));do
    echo -----------------slave$host-------------------------
    rsync -rvl $pdir/$fname $user@slave@host:$pdir
done

　6.配置SSH无密登录配置(每台都要配）

在当前用户的家目录下生成密钥对

ssh-keygen -t rsa

拷贝公钥到其他主机

ssh-copy-id slave1

ssh-copy-id slave2

ssh-copy-id master

群起HDFS和yarn(启动的脚本都在安装目录下的sbin文件夹下）

sbin/start-dfs.sh（在master启动NameNode)

sbin/start.yarn.sh(在slave1启动RecourceManager)

7.配置集群时间同步

(1)时间服务器的配置（master）

a.检查ntp是否安装

rpm -qa | grep ntp

(结果）

ntp-4.2.6p5-10.e16.centos.x86_64

fontpackages-filesystem-1.41-1.1.e16.noarch

ntpdate-4.2.6p5-10.e16.centos.x86_64

b.修改ntp配置文件

vim /etc/ntp.conf

修改一（授权192.168.100.0-192.168.100.255网段上的所有机器可以从这台机器上查询和同步时间）

#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap 为

restrict 192.168.100.0 mask 255.255.255.0 nomodify notrap

修改二（集群在局域网中，不使用其他互联网上的时间）

server0.centospool.ntp.org iburst

server1.centospool.ntp.org iburst

server2.centospool.ntp.org iburst

server3.centospool.ntp.org iburst为

#server0.centospool.ntp.org iburst

#server1.centospool.ntp.org iburst

#server2.centospool.ntp.org iburst

#server3.centospool.ntp.org iburst

添加三（当该节点丢失网络连接，依然可以采用本地时间作为时间服务器为机器的其他节点提供时间同步）

server 127.127.1.0

fudge 127.127.1.0 stratum 10

c.修改/etc/sysconfig/ntpd文件

让硬件时间与系统时间一起同步

SYNC_HWCLOCK=yes

d.重启ntpd服务

service ntpd restart

f.设置ntpd服务开机启动

service enable ntpd

(2)其他机器的配置

在其他机器配置10分钟与时间服务器同步一次

crontab -e

编写定时任务如下：

*/10 * * * * /usr/sbin/ntpdate master

8.spark集群的配置(yarn模式）

下载sparkhttps://downloads.apache.org/spark/spark-3.0.2/spark-3.0.2-bin-hadoop2.7.tgz

安装hadoop：tar -zxvf spark-3.0.2-bin-hadoop2.7.tgz -C /opt/module

进入安装目录下的conf

配置spark.env.sh(在文件末尾添加即可）

export JAVA_HOME=/opt/module/jdk1.8.0_281
YARN_CONF_DIR=/opt/module/hadoop-2.10.1/etc/hadoop

export SPARK_HISTORY_OPTS="
-Dspark.history.ui.port=18080
-Dspark.history.fs.logDirectory=hdfs://master:50070/directory
-Dspark.history.retainedApplications=30"

配置spark.defaults.conf(在文件末尾添加即可）

spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://master:50070/directory

spark.yarn.historyServer.address=master:18080
spark.history.ui.port=18080