Hadoop安装-伪分布式

Hadoop安装有三种模式,单机模式、伪分布式和分布式安装

伪分布式安装

1、去hadoop官网下载 .tar.gz 文件,并拷贝到虚拟机中

  增加hadoop环境变量,  

    export HADOOP_HOME=/home/wdd/hadoop-2.9.0
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

  上面两句分别在.bash_profile和/etc/profile中增加。

  .bash_profile 是限制于用户,

  /etc/profile 是全局用户

2、解压,tar -xzf hadoop-2.9.0.tar.gz 

  压缩、解压命令: 

    tar –cvf jpg.tar *.jpg //将目录里所有jpg文件打包成tar.jpg
    tar –czf jpg.tar.gz *.jpg   //将目录里所有jpg文件打包成jpg.tar后,并且将其用gzip压缩,生成一个gzip压缩过的包,命名为jpg.tar.gz
    tar –cjf jpg.tar.bz2 *.jpg //将目录里所有jpg文件打包成jpg.tar后,并且将其用bzip2压缩,生成一个bzip2压缩过的包,命名为jpg.tar.bz2
    tar –cZf jpg.tar.Z *.jpg   //将目录里所有jpg文件打包成jpg.tar后,并且将其用compress压缩,生成一个umcompress压缩过的包,命名为jpg.tar.Z

    tar –xvf file.tar //解压 tar包
    tar -xzvf file.tar.gz //解压tar.gz
    tar -xjvf file.tar.bz2   //解压 tar.bz2
    tar –xZvf file.tar.Z   //解压tar.Z
    unrar e file.rar //解压rar
    unzip file.zip //解压zip
3、 配置Hadoop,一般需要配置5个文件,配置文件路径在etc/hadoop

  1) 编辑 vi hadoop-env.sh 

    增加java环境变量,如下

    export JAVA_HOME=/home/jdk/ 或者 export JAVA_HOME=${JAVA_HOME}

  2) 编辑 vi core-site.xml,配置如下: 

    

  3) 编辑 vi hdfs-site.xml,datanode可以配置多个

    

  4) 编辑vi mapred-site.xml,需要根据mapred-site.xml.template创建(cp  mapred-site.xml.template mapred-site.xml)

    编辑如下:  

    

  5) 编辑 vi yarn-site.xml

    

  6) 然后创建上述配置中出现的目录,并分配读写权限

  7)启动hdfs namenode -format,报错如下:  

      

    原因,版本不匹配所致,不同的JDK使用不同的 major.minor.

    Hadoop版本高于2.7应该用jdk1.7

            低于2.6应该用jdk1.6  

  8) 更换jdk版本,成功执行

4、启动hadoop  

  1) 启动hdfs集群

    hadoop-daemon.sh start namenode 启动主节点
    hadoop-daemon.sh start datanode 启动从节点

    

  2) 启动yarn集群

    yarn-daemon.sh start resourcemanager
    yarn-daemon.sh start nodemanager

    

  3)启动作业历史服务器

    mr-jobhistory-daemon.sh start historyserver

     

  4) jps查看是否启动成功,成功启动

    

  5) 查看是否启动成功,

    http://localhost:50070

    http://localhost:8088

    

 

posted @ 2018-04-07 23:52  Wind_LPH  阅读(126)  评论(0编辑  收藏  举报