hadoop的搭建基于liunx单机版

Hadoop的组成

--------------------------------------------------

    1，HDFS:分布式文件系统。  存放海量数据的

    2.   YARN：资源的调度。

    3.  MapReduce: 处理海量数据。

 

 

-------------------------------------

  

   安装Hadoop 模式。

          1.单机模式： 一台机器上配置Hadoop

          2.伪分布式     一台机器上配置多个端的Hadoop

          3.完全分布式  多台机器配置Hadoop   

 

 

搭建Hadoop 单机版。

-------------------------

 

 1.jdk  （Hadoop基于JDK）

        1.在usr下创建一个文件夹java

        2.把jdk的压缩文件放在java文件夹下

        3.解压该压缩文件 （安装好。）

        4.配置JDK的环境变量。（/etc/profile）

export JAVA_HOME=/usr/java/jdk1.8.0_141

export CLASSPATH=$JAVA_HOME/lib

export PATH=$PATH:$JAVA_HOME/bin

 

5.刷新该文件/etc/profile

                source  /ect/profile    //必须调用。


6.检查是否安装成功

                javac   java     javac -version

7.搭建Hadoop

        1.为主机重命名   vi  /etc/hostname    

                reboot 重启虚拟机

        2.配置主机名与IP的映射关系。

                vi   /etc/hosts

        3.在usr下创建一个目录 Hadoop

        4.把压缩文件放在hadoop下

        5.解压hadoop文件

        6.配置hadoop

       

 配置Hadoop的环境变量(在/etc/profile的文件下配置)

　　

           export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3

           export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

###################-----hadoop-env.sh-----#################################

      修改JAVA_HOME=/usr/java/jdk1.8.0_141
    

 

####################-----core-site.xml----############################

<!--配置HDFS的老大NameNode所在的机器-->
<property>

          <name>fs.defaultFS</name>

          <value>hdfs://zhiyou01:9000</value>

</property>

<!--配置Hadoop运行时产生的文件的存储目录-->

<property>
         <name>hadoop.tmp.dir</name>
         <!--该目录提前创建好-->
         <value>/zhiyou/hadoop/tmp</value>
</property>

 

 

######################  hdfs-site.xml #############################
      

<!--HDFS的副本数量-->

<property>

         <name>dfs.replication</name>

         <value>1</value>

</property>

######################--mapred-site.xml--####################
<!-- 指定mr运行在yarn上 -->

<property>

             <name>mapreduce.framework.name</name>

             <value>yarn</value>

</property>

 

 #########################-----yarn-site.xml-----#####################################<!-- 指定YARN的老大（ResourceManager）的地址 -->

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>zhiyou01</value>
</property>

<!-- reducer获取数据的方式 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

===========================================================================================================================

  预格化。  成功了 就不要在格式化。 /zhiyou/hadoop/tmp/dfs/name has been successfully formatted.

     hadoop namenode  -format

0.3 配置ssh免密登录

切换到该目录下
cd ~/.ssh
#生成ssh免密登录的密钥
Ssh-keygen -t rsa(四个回车)
执行完这个命令后,会生成id_rsa(私钥) .id_rsa.pub(公钥)将公钥拷贝到要免密登陆的目标机器上 ssh-copy-id master

 

0.4配置防火墙

查看防火墙状态
firewall-cmd --state
•    1
停止firewall
systemctl stop firewalld.service
•    1
禁止firewall开机启动
systemctl disable firewalld.service