hadoop+hive+spark搭建（一）

1.准备三台虚拟机

2.hadoop+hive+spark＋java软件包

传送门：Hadoop官网　　Hive官网　　Spark官网

     

一、修改主机名,hosts文件

　　主机名修改

　　　　　hostnamectl set-hostname ***

　　hosts文件修改

　　　　　vi /etc/hosts　　　　写入以下内容

　　　　　master 192.168.0.110

　　　　　slaver1 192.168.0.111

　　　　　slaver2 192.168.0.112

　　SSH免登陆

　　　　　运行命令 ssh-keygen -t rsa生成秘钥

　　　　　　

　　　　

　　　　　master节点运行命令 cat id_rsa.pub > authorized_keys

　　　　　　　　　　　　　　　ssh slaver1 cat ~/.ssh/id_rsa.pub >>authorized_keys

　　　　　　　　　　　　　　　ssh slaver2 cat ~/.ssh/id_rsa.pub >>authorized_keys

　　　　　　　　　　　　　　　scp authorized_key root@slaver1:~/.ssh/

　　　　　　　　　　　　　　　scp authorized_key root@slaver2:~/.ssh/

　　　　　vi /etc/ssh/sshd删掉以下注释

　　　　　　

　　　　　　　　

　　　　执行完如上操作即可免密登录

　　　　　　

 

二、java环境配置

　　上传java软件包到各节点并解压缩java软件包到/usr/local/目录下重命名为

　　　　

　　配置java环境变量

　　　编辑/etc/profile文件，并追加

　　　　　　export JAVA_HOME=/usr/local/jdk1.8.0

　　　　　　export PATH=$JAVA_HOME/bin:$PATH

　　　运行source /etc/profile命令　

 　测试java环境变量

　　　　运行java -version命令

　　　　

　　　　成功安装并配置java

 三、Hadoop环境搭建

　　上传hadoop软件包并解压缩hadoop软件包到/usr/local/目录下重命名hadoop

  　　　　

　　编辑/etc/profile文件，并追加

　　　　　　　export HADOOP_HOME=/usr/local/hadoop

　　　　　　　export PATH=$HADOOP_HOME/bin:$PATH

　　　　运行source /etc/profile命令

　　修改配置文件hadoop目录下etc/hadoop/hadoop-env.sh如下

　　　　

 

　　修改配置文件hadoop目录下etc/hadoop/core-site.xml如下

　　　　　　

 

　　修改配置文件hadoop目录下etc/hadoop/hdfs-site.xml如下

 　　　　　　

 

　　修改配置文件hadoop目录下etc/hadoop/yarn-site.xml如下

　　　　　　

 

　　修改配置文件hadoop目录下etc/hadoop/mapred-site.xml如下

 　　　　　　

 

　　编辑hadoop目录下etc/hadoop/master

　　　　　　

 

　　编辑hadoop目录下etc/hadoop/slaves

　　　　

　　格式化HDFS

　　　　　　master节点运行命令hdfs namenode -format

　　master节点运行hadoop目录下sbin/start.all.sh启动所有程序

　　　　　　

浏览器下输入192.168.0.110:50070即可打开web界面hadoop 

　　　

 

在master和slave节点上输入命令jps

　　　　　

 

 

 

hadoop搭建成功