hadoop安装部署

hadoop 安装和部署

安装目标目录: /usr/local/hadoop

HDFS数据，Log，临时数据目录:/var/local/hadoop/

hadoop 用户: hadoop

JDK:1.6 版本

 

一，建立用户hadoop

    大部情况下可以直接在root用户下安装，在此处特意建立以hadoop为用户名进行相关操作

    >useradd hadoop #建立hadoop用户
    >passwd hadoop  #修改密码

 

二，安装JDK。

     建议切换到root 用户下面安装JDK，如下图：

    >su root                                 #切换至root用户
    >cd software                             #进入安装的软件目录
    >chmod u+x jdk-6u25-linux-x64-rpm.bin    #给*.bin增加可执行权限
    >./jdk-6u25-linux-x64-rpm.bin            #回车，安装开始。

   

    JDK安装完成，并且检查安装是否成功。

    >java --versiov
    java version "1.6.0_17" 
    OpenJDK Runtime Environment (IcedTea6 1.7.4) (rhel-1.21.b17.el6-x86_64)
    OpenJDK 64-Bit Server VM (build 14.0-b16, mixed mode)

   

    某些情况下，需要手工配置全局的JAVA运行环境，即在/etc/profile中进行配置。

    有时候由于产线或者系统中部署了多个JDK版本，则可以通过~/.bashrc或者~/.bashprofile用来对当前用户的JDK环境指定。

    关于profile,bashrc等启动顺序，可以自行复习Linux启动脚本顺序。

    如下图中，主要在/etc/profile中进行全局配置。

    >cd /usr                                   #进入/usr目录，大部分情况下java都安装在/usr下面子目录
    >find -name java                           #查找java安装路径
    ./java/jdk1.6.0_25/jre/bin/java  
    ./java/jdk1.6.0_25/bin/java
    >cd /etc                                   #进入/etc目录
    >vim profile                               #编辑/etc/profile

 

    在/etc/profile 文件尾追加写入如下内容:

    JAVA_HOME=/usr/java/jdk1.6.0_25
    HADOOP_HOME=/usr/local/hadoop 
    HADOOP_CONF_DIR=$HADOOP_HOME/conf
    CLASSPATH=.:$JAVA_HOME/lib:$HADOOP_HOME/lib
    PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME/bin

    export JAVA_HOME 
    export HADOOP_HOME
    export HADOOP_CONF_DIR

    

    让环境变量生效，如下图执行：

    source /etc/profile

 

三，设置ssh

    配置本机ssh，使得使用hadoop用户ssh登陆时不需要提供密码验证,对于伪分布式的hadoop部署之需要设置如下信息，则基本ssh配制成功。

    >su hadoop                                       #切换到hadoop用户
    >ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa        #初始化ssh 验证信息
    >cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys #追加验证信息到authorized_keys文件
    >chmod 700 ~/.ssh
    >chmod 600 ~/.ssh/authorized_keys 
    >ssh localhost                                   #测试本机主机名不需要验证就可以登录则成功

   

    如果配置多台机器的cluster完整分布式集群，例如： 

    10.16.45.209 s1
    10.16.45.226 s2
    10.16.45.227 s3
    10.16.45.231 s4

   

    使用如下命令操作加入主机名和IP映射

    >su root
    >vim /etc/hosts

   

    更新类似如下内容：

    10.16.45.209 s1 # Added by NetworkManager
    127.0.0.1 localhost.localdomain localhost
    ::1 sstrtst20.buyabs.corp sstrtst20 localhost6.localdomain6 localhost6
    10.16.45.226 s2
    10.16.45.227 s3
    10.16.45.231 s4    

     

    分布式SSH设置如下图，ssh登录10.16.45.209：

    >su hadoop                                             #切换到hadoop用户
    >ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa              #初始化ssh 验证信息
    >cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys       #追加验证信息到authorized_keys文件
    >chmod 700 ~/.ssh
    >chmod 600 ~/.ssh/authorized_keys 
    >ssh s1                                                #测试当前主机不需要验证既可登录
    >scp ~/.ssh/id_dsa.pub 10.16.45.226:/home/hadoop/.ssh/
    >ssh 10.16.45.226
    >su hadoop
    >cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys       #追加验证信息到authorized_keys文件
    >ssh s1                                                #测试

    依次将sstrtst20的~/.ssh/id_dsa.pub拷贝到其他ip地址并且追加到authorized_keys文件。

 

四，安装配置hadoop

 

    解压缩安装包并且进行相关配置，如下图：

    >su root
    >tar xzvf hadoop-0.20.2-cdh3u1.tar.gz                  #解压缩
    >mv hadoop-0.20.2-cdh3u1 hadoop                        #改名
    >mv hadoop /usr/local                                  #移动文件
    >chown -R hadoop:hadoop /usr/local/hadoop              #修改/usr/local/hadoop 目录以及目录内容数据hadoop:hadoop用户/用户组
    >cd /usr/local/hadoop/conf                            
    >vim hadoop-env.sh                                    

   

    设置hadoop-env.sh内容:

    export JAVA_HOME=$JAVA_HOME
    export HADOOP_CLASSPATH="$HADOOP_CLASSPATH"
    export HADOOP_HEAPSIZE=2048
    export HADOOP_LOG_DIR=/var/local/logs
    export HADOOP_PID_DIR=/var/local/pids

   

    设置masters内容

    s1

   

    设置slaves内容

    s1
    s2
    s3
    s4

   

    设置hdfs-site.xml内容

    <configuration> 
      <property>
         <name>dfs.permissions</name>
         <value>false</value>
      </property>
      <property>
         <name>dfs.name.dir</name>
         <value>/var/local/hadoop/cache/hadoop/dfs/name</value>
      </property>
    </configuration>

   

    设置mapred-site.xml内容

    <configuration>
      <property>
        <name>mapred.job.tracker</name>
        <value>s1:8021</value>
      </property>
    </configuration>

   

    设置core-site.xml内容

    <configuration> 
      <property>
        <name>fs.default.name</name>
        <value>hdfs://s2:8020</value>
      </property>
       <property>
         <name>hadoop.tmp.dir</name>
         <value>/var/local/hadoop/cache/${user.name}</value>
       </property>
      <property>
        <name>webinterface.private.actions</name>
        <value>true</value>
      </property>
    </configuration>

   

    设置log4j，请自行配置。

    依次将hadoop-env.sh，core-site.xml，hdfs-site.xml，mapred-site.xml，masters,slaves文件分发到其它hadoop node

五，创建hadoop 数据，log，pids目录

 

    创建hadoop log,pid,hadoop目录并且设置操作权限，如下：

    >su root
    >mkdir /var/local
    >mkdir /var/local/hadoop
    >mkdir /var/local/logs
    >mkdir /var/local/pids
    >cd /var/local
    >chown -R hadoop:hadoop *
    >chmod ugo+rw *

 

六，启动准备

    >su hadoop
    >hadoop namenode -format                         #格式化HDFS数据存储
    >cd /usr/local/hadoop/bin                        #必须在namenode 上启动
    >sh start-all.sh                                 #启动
    >hadoop fs -ls /                                 #测试
    >hadoop fs -put demo.txt /user/hadoop/demo.txt   #向HDFS上传demo.txt并且存储在/user/hadoop/demo.txt
    >hadoop fs -cat /user/hadoop/demo.txt            #打印

 

七，系统自动启动

    利用CentOS chkconfig，在/etc/init.d/ 中创建start,stop,restart脚本，利用chkconfig --add 加入服务，利用chkconfig --level on 设置启动级别。

 

八，观察hadoop 运行进程

    在namenode上观察：

    >jps
    14520 NameNode
    15005 TaskTracker
    14641 DataNode
    14881 JobTracker
    7647 Jps
    14790 SecondaryNameNode

   

    在datanode上观察：

    >jps
    3462 TaskTracker 
    16687 Jps
    3349 DataNode