hadoop2.2.0集群搭建与部署

 

原创文章，转载请注明： 转载自http://www.cnblogs.com/tovin/p/3818908.html

 

 

一、安装环境

1、系统环境

CentOS  6.4

 

2、集群机器节点ip

节点一ip：10.100.209.221   （master）
       节点二ip：10.100.209. 222  （slave）
       节点三ip：10.100.209.223   （slave）
       安装时可以基于自己的配置与此进行对应

 

二、系统环境配置

1、创建hdp用户与hdp用户组

su root

        groupadd hdp
        useradd -g hdp hdp
        passwd hdp

2、授予hdp用户sudo权限
        vim /etc/sudoers      增加如下内容

        %hdp    ALL=(ALL)       ALL

 

3、添加host配置

        vim /etc/hosts   
        添加ip对应的hostname（根据实际ip填写对应关系）
 

 

4、配置ssh免登录功能(只需在node01  Master机器上执行)

   su hdp

  ssh-keygen (执行此后一直敲回车即可)

  ssh-copy-id -i ~/.ssh/id_rsa.pub hdp@node01

  ssh-copy-id -i ~/.ssh/id_rsa.pub hdp@node02

   ssh-copy-id -i ~/.ssh/id_rsa.pub hdp@node03

推荐使用ssh-copy-id命令，目前网上很多文章写的方法都是自己一个一个文件的copy，麻烦又费时。

 

三、软件下载与安装

在集群所有机器上执行下面的操作步骤安装基础软件：

1、软件下载

su hdp

       cd /home/hdp

       wgethttp://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.2.0/hadoop-2.2.0.tar.gz  

       wget http://download.oracle.com/otn-pub/java/jdk/7u60-b19/jdk-7u60-linux-x64.rpm

 

2、java安装

 

  cd /home/hdp 

        sudo rpm -ivhjdk-7u51-linux-x64.rpm        

  修改系统默认java版本：

         alternatives - -install /usr/bin/javajava /usr/java/jdk1.7.0_51/bin/java 2

         alternatives --config java

        会出现下面类似界面，选择/usr/java/jdk1.7.0_51/bin/java选项即可

 

  执行： java -version 命令查看java版本是否为1.7.0_51

 

3、hadoop安装

sudo mv /home/hdp/hadoop-2.2.0.tar.gz/usr/local/

  cd /usr/local

  sudo tar zxvf hadoop-2.2.0.tar.gz

      sudo ln -s hadoop-2.2.0 hadoop

       sudo chown -R hdp:hdp hadoop-2.2.0

       sudo rm -rf hadoop-2.2.0.tar.gz 

 

四、hadoop部署（单机版）

以node01节点安装为例说明：

1、修改配置文件

 

   cd /usr/local/hadoop/etc/hadoop

  vim slaves 添加如下内容

  node01

vim core-site.xml 添加如下内容

<configuration>

  <property>

     <name>fs.defaultFS</name>

     <value>hdfs://node01:8020/</value>

 </property>

  <property>

     <name>dfs.replication</name>

     <value>1</value>

  </property>

  <property>

     <name>hadoop.tmp.dir</name>

    <value>/tmp/hadoop-${user.name}</value>

  </property>

</configuration>

 

vim hdfs-site.xml添加如下内容

<configuration>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>node01:9001</value>

</property>

<property>

<name>dfs.namenode.name.dir</name>

          <value>/dfs/nn</value>

 </property>

 <property>

     <name>dfs.datanode.data.dir</name>

      <value>/dfs/dn</value>

 </property>

 <property>

    <name>dfs.webhdfs.enabled</name>

      <value>true</value>

 </property>

  <property>

       <name>dfs.permissions</name>

      <value>false</value>

 </property>

</configuration>

 

vim mapred-site.xml添加如下内容

<configuration>

<property>

 <name>mapreduce.framework.name</name>

  <value>yarn</value>

</property>

  <property>

 <name>mapreduce.shuffle.port</name>

<value>8080</value>

</property>

<property>

 <name>mapreduce.job.tracker</name>

<value>node01:8021</value>

  </property>

<property>

 <name>mapreduce.job.tracker.http.address</name>

<value>node01:50030</value>

</property>

</configuration> 

 

vimyarn-site.xml添加如下内容

<configuration>

<property>

<name>yarn.resourcemanager.address</name>

<value>node01:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>node01:8030</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>node01:8088</value>

</property>

<property>

 <name>yarn.resourcemanager.resource-tracker.address</name>

<value>node01:8031</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name> 

<value>node01:8033</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

 

2、启动集群

sudo mkdir /dfs/dn

sudo mkdir /dfs/nn

 /usr/local/hadoop/bin/hdfs namenode -format

 /usr/local/hadoop/sbin/start-all.sh

jps命令验证NameNode、DataNode、ResourceManager、NodeManager时候都成功启动了

五、hadoop部署（集群版）

以node01为master节点，node02、node03为slave节点安装为例说明：

1、修改配置文件（所有节点都要改） 

cd/usr/local/hadoop/etc/hadoop

  vim slaves 添加如下内容

  node02

  node03 

 

  vim core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml配置文件修改内容与单机版部署一样

  sudo mkdir /dfs/dn

sudo mkdir /dfs/nn

2、启动集群（node01节点运行启动脚本）

   /usr/local/hadoop/bin/hdfs  namenode -format

  /usr/local/hadoop/sbin/start-all.sh

 

原创文章，转载请注明： 转载自http://www.cnblogs.com/tovin/p/3818908.html