我的Github:   Github

hadoop+hive+spark搭建(一)

1.准备三台虚拟机

2.hadoop+hive+spark+java软件包

传送门:Hadoop官网  Hive官网  Spark官网

     

一、修改主机名,hosts文件

  主机名修改

     hostnamectl set-hostname ***

  hosts文件修改

     vi /etc/hosts    写入以下内容

     master 192.168.0.110

     slaver1 192.168.0.111

     slaver2 192.168.0.112

  SSH免登陆

     运行命令 ssh-keygen -t rsa生成秘钥

      

    

     master节点运行命令 cat id_rsa.pub > authorized_keys

               ssh slaver1 cat ~/.ssh/id_rsa.pub >>authorized_keys

               ssh slaver2 cat ~/.ssh/id_rsa.pub >>authorized_keys

               scp authorized_key root@slaver1:~/.ssh/

               scp authorized_key root@slaver2:~/.ssh/

     vi /etc/ssh/sshd删掉以下注释

      

        

    执行完如上操作即可免密登录

      

 

二、java环境配置

  上传java软件包到各节点并解压缩java软件包到/usr/local/目录下重命名为

    

  配置java环境变量

   编辑/etc/profile文件,并追加

      export JAVA_HOME=/usr/local/jdk1.8.0

      export PATH=$JAVA_HOME/bin:$PATH

   运行source /etc/profile命令 

  测试java环境变量

    运行java -version命令

    

    成功安装并配置java

 三、Hadoop环境搭建

  上传hadoop软件包并解压缩hadoop软件包到/usr/local/目录下重命名hadoop

      

  编辑/etc/profile文件,并追加

       export HADOOP_HOME=/usr/local/hadoop

       export PATH=$HADOOP_HOME/bin:$PATH

    运行source /etc/profile命令

  修改配置文件hadoop目录下etc/hadoop/hadoop-env.sh如下

    

 

  修改配置文件hadoop目录下etc/hadoop/core-site.xml如下

      

 

  修改配置文件hadoop目录下etc/hadoop/hdfs-site.xml如下

       

 

  修改配置文件hadoop目录下etc/hadoop/yarn-site.xml如下

      

 

  修改配置文件hadoop目录下etc/hadoop/mapred-site.xml如下

       

 

  编辑hadoop目录下etc/hadoop/master

      

 

  编辑hadoop目录下etc/hadoop/slaves

    

  格式化HDFS

      master节点运行命令hdfs namenode -format

  master节点运行hadoop目录下sbin/start.all.sh启动所有程序

      

浏览器下输入192.168.0.110:50070即可打开web界面hadoop 

   

 

在master和slave节点上输入命令jps

     

 

 

 

hadoop搭建成功

 

posted @ 2017-04-26 18:54  寂夜云  阅读(3813)  评论(0编辑  收藏  举报