【安装】Hadoop2.8.0搭建过程整理版

Hadoop搭建过程

 

 

前期环境搭建主要分为软件的安装与配置文件的配置，集成的东西越多，配置项也就越复杂。

 

Hadoop集成了一个动物园，所以配置项也比较多，且每个版本之间会有少许差异。

 

安装的方式有很多，各个版本lunix源的配置也不同，我才用的是直接下载tar包进行安装，这样的好处是版本容易控制。

 

下载软件：

官网下载时会标明相匹配的版本：

 

1、hadoop本体2.8.0

2、Scala，spark的原生语言，依赖于此环境

3、Spark，spark依赖hadoop的组件（忘了，单跑也可以）

 

系统环境：Ubuntu16.04

 

JRE环境：1.8（e）

配置jRE环境变量：

vim /etc/profile

最后加上，：是拼接的意思，拼接到path

export JAVA_HOME=/usr/jdk8/jdk1.8.0_144
export JRE_HOME=$JAVA_HOME/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$JAVA_HOME/bin:$PATH

Java -version 成功

 

 

1、修改主机名

修改主机名，配置host，设置静态ip：

1.修改主机名：

主节点主机名称:Hadoop-host,IP地址:192.168.1.200

//由于搭建standalone测试，暂未配置子节点

Host：

修改/etc/host、hostname文件，注意请在host文件中一并添加hadoopnode1机器的IP地址。

192.168.1.200 Hadoop-host //192.168.1.201 hadoopnode1

::1           localhost

 

立即生效：sudo /etc/init.d/networking restart

 

Ip设置（e）：

#sudo vim /etc/network/interfaces

auto eth0
iface eth0 inet static
address 192.168.0.117
gateway 192.168.0.1 #这个地址你要确认下网关是不是这个地址
netmask 255.255.255.0
network 192.168.0.0
broadcast 192.168.0.255

 dns-nameservers 8.8.8.8

 

2、关闭防火墙

 

原因：内部系统，不用考虑安全问题；各个节点之间的配合需要开放的环境。

 

乌班图ufw disable 其它版本的lunix好像是配置iptable关闭

 

配置免密码登录：公钥私钥。

ssh-keygen -t rsa -P “”
实现本地登录免密码登录，因为搭建的时候，我们做了对其他主机的免密码登录，但是本地ssh连接本地没有
所以，讲本地的公钥导入私钥就可以
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

非本地节点将非本地公钥导入私钥？

 

3、安装Hadoop

Tar -xvf 安装包名

Tip：解压x压缩z

 

解压后放入/usr/local/hadoop文件夹下。

创建hdfs以及其他组件需要的文件夹：

#mkdir tmp           hadoop临时文件

#mkdir hdfs/name    hdfsNODE

#mkdir hdfs/data       hdfsDATA

配置环境变量：

vim /etc/profile

加入：

export HADOOP_HOME=/usr/hadoop/hadoop-2.8.0
export PATH=$PATH:$HADOOP_HOME/bin

Source，立即生效

现在执行hadoop version 查看安装是否成功。

 

4、配置Hadoop

主要是几个配置文件：

A:hadoop-2.8.0/etc/hadoop/hadoop-env.sh 

配置vim hadoop-env.sh文件 添加JAVA_HOME位置

source立即生效

 


B:hadoop-2.8.0/etc/hadoop/yarn-env.sh  -此版本没有

 

 
C:hadoop-2.8.0/etc/hadoop/core-site.xml 
D:hadoop-2.8.0/etc/hadoop/hdfs-site.xml 
E:hadoop-2.8.0/etc/hadoop/mapred-site.xml 
F:hadoop-2.8.0/etc/hadoop/yarn-site.xml

 

 

1、=========core-site.xml

<configuration>
      刚才新建的临时文件目录位置：
    <property>   
        <name>hadoop.tmp.dir</name>   
        <value>/usr/hadoop/tmp</value>
        <final>true</final>
        <description>A base for other temporary directories.</description>
    </property>

Hdfs地址与端口
    <property>
        <name>fs.default.name</name>
        <value>hdfs://192.168.1.200:9000</value>
    <!-- hdfs://Master.Hadoop:22-->
            <final>true</final>
    </property>

缓存文件的大小
    <property>
         <name>io.file.buffer.size</name>
         <value>131072</value>
    </property>
    </configuration>
2===========hdfs-site.xml

<configuration>  

Hdfs节点个数

        <property>   

            <name>dfs.replication</name>   

            <value>2</value>   

        </property>   

        刚才建立的目录

        <property>   

            <name>dfs.name.dir</name>   

            <value>/usr/local/hadoop/hdfs/name</value>   

        </property>  

刚才建立的目录 

        <property>   

            <name>dfs.data.dir</name>   

            <value>/usr/local/hadoop/hdfs/data</value>   

        </property>

          第二节点的位置？？？

        <property>    

             <name>dfs.namenode.secondary.http-address</name>    

             <value>hadoop-host:9001</value>    

        </property>

       开启网络模式？？？  

        <property>    

             <name>dfs.webhdfs.enabled</name>    

             <value>true</value>    

        </property>

       许可，权限？？？   

        <property>    

             <name>dfs.permissions</name>    

             <value>false</value>    

        </property>    

</configuration>

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

3、mapred-site.xml

//mapreduce通过yarn配置（Hadoop 资源管理器）

    <configuration>  

        <property>    

              <name>mapreduce.framework.name</name>    

              <value>yarn</value>    

        </property>     

    </configuration>  

4、yarn-site.xml

这个文件配置好各自的端口就行

<property>    

  <name>yarn.resourcemanager.address</name>    

  <value>hadoop-host:18040</value>    

</property>    

<property>    

  <name>yarn.resourcemanager.scheduler.address</name>    

  <value>hadoop-host:18030</value>    

</property>    

<property>    

  <name>yarn.resourcemanager.webapp.address</name>    

  <value>hadoop-host:18088</value>    

</property>    

<property>    

  <name>yarn.resourcemanager.resource-tracker.address</name>    

  <value>hadoop-host:18025</value>    

</property>    

<property>    

  <name>yarn.resourcemanager.admin.address</name>    

  <value>hadoop-host:18141</value>    

</property>    

<property>    

  <name>yarn.nodemanager.aux-services</name>    

  <value>mapreduce_shuffle</value>    

</property>    

<property>    

  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>    

  <value>org.apache.hadoop.mapred.ShuffleHandler</value>    

</property>    

</configuration>

 

5、初始化

 

hadoop namenode -format

 

17/09/13 05:01:45 INFO common.Storage: Storage directory /usr/local/hadoop-2.8.0/hdfs/name has been successfully formatted.
17/09/13 05:01:45 INFO namenode.FSImageFormatProtobuf: Saving image file /usr/local/hadoop-2.8.0/hdfs/name/current/fsimage.ckpt_0000000000000000000 using no compression
17/09/13 05:01:45 INFO namenode.FSImageFormatProtobuf: Image file /usr/local/hadoop-2.8.0/hdfs/name/current/fsimage.ckpt_0000000000000000000 of size 321 bytes saved in 0 seconds.
17/09/13 05:01:45 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
17/09/13 05:01:45 INFO util.ExitUtil: Exiting with status 0

17/09/13 05:01:45 INFO namenode.NameNode: SHUTDOWN_MSG:
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at Hadoop-host/127.0.1.1
************************************************************/

 

启动  sudo sbin/start-all.sh

 

输入http://localhost:50070/ 查看运行情况。

 

posted @ 2017-10-12 09:50  黑猫先生  阅读(378)  评论(0)  编辑  收藏  举报